用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
% c8 K: h2 w" [，
& ?' e. H8 }1 i( `4 T0 Z) Y尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
，
( B& {9 y- l9 g4 w; V6 Z机器学习 领域获得 了 快速的进 步
% `' n' R% R/ {3 E! Z3 R0 }1 y: a。
随着 基于
$ ~2 S# {% X) d" |卷 积神 经网 络的深度 学 习 方法的 出 现
! g3 ?' @+ ^1 f! O  o& U，
+ B0 }( k: Z1 S" v' L1 g* g．
传 统 的基于 数学 模型 的机器学 习 算 法在
" h- A0 x$ v* R* h( B' w很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
' G4 |) K1 w) a: d5 Y! l，
5 o7 {* x3 J' {1 y0 M尤 其是 ２ ０ １ ６
  Q. k* r/ u0 A年 以来
，
! e- P# l, P; B8 H; J& {7 l* _基于 生成对 抗网 络的 图像处理方法
，
: @# S# e" C8 b/ y  ?6 u( f1 ~在传 统 的 图像识别
，
图像增强 和 图像分 割等
2 w& C2 w2 _% R( o, Z领域之外
，
+ j, X$ \$ y' y+ x0 F! c8 d' g还实现了 基于 先验知识 的 图 像合成
: r7 E; M) f# F( y. u0 q2 r7 b，
. z+ E5 F5 Z8 ~: b  H但 图像合成过程中 仍存在算法
% s9 W& ^9 a3 T+ s结
果不 容 易 收 敛
9 Y0 f& |. b& c1 y2 p# U，
计算量大
7 ~% ^) I0 o2 s  z，
优化速度慢
- }: i" T  _6 I3 t, i) e; e& q$ }，
+ Z4 c/ o8 v2 r6 A1 u. {图 像劣化 等 问 题
。
针对人脸 合成 图 像
，
: b) o' g: z. x; i5 o/ `已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
: P0 t& J0 ^+ P. B节还 原度
& |! F, v2 ?0 o4 k! A4 w1 R，
  U* U  t: }& H  @而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
，
2 h$ g, L& t3 T, D仍需进
% O7 G& k; @0 w6 M- U, w一
- y5 ~! U! V/ k9 h) Y* }$ Z步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
( O, J7 _3 Q# F5 c，
将合 成过程分
成
* }5 z" ~( e3 z; H了
３
个 阶段
，
首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
: }/ x/ f$ D$ a5 }* O2 C，
+ N7 n; z6 g' B- U最后 是 图
像的 超分辨和 画质 增强
/ M! F8 V0 \- g，
- w6 q9 H% T% J/ F% F2 k实现 了 人 脸 图像生成算法的 识 别
，
分离
: D) I5 w0 X5 E( }，
9 u* H0 o9 v$ ?0 d合成和 画 质 改
善 的 全过程
* \! ~/ K* p" [. Z。
6 M& A" X( l7 y" k- {4 z针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
- }' J9 N! ~6 Y% c6 w/ Z，
  R- Z  [  `. Z( D5 M本文 主要解决
6 j: m5 w) u) z5 J$ ~9 G  d了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
0 h# p/ i/ l4 L3 w7 j，
主要
0 J1 t6 d0 l3 V$ T5 u7 p. L工
4 j# E/ e! P" j. R作 内 容和 创新点 包括
：
１ 、
# d9 C7 i' Q% H- }0 V& I基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
一
种快速图 像分割
  S9 z$ \. n" ^0 t算法
，
该 算 法通过逐层 二分法
一
8 `9 J3 u0 \4 ^* ]4 w次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
8 {; M) {2 ~; |) n' A0 Z同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
该算 法不同 于传统方法的 先 由 轮廓得
到
+ I6 R! \5 g" H连续的 边界
，
" F. b) f$ p7 b) [3 M再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
; C2 ~: T2 W2 s* U5 ~的
& E2 a7 T2 I$ o  S) ^形态学特征进行 目 标 区域 的划 分
，
2 W) y2 E5 e5 J* W8 Q减少 了 边缘分 析的计算时 间
2 ?, q6 L" D, C  N，
且对 目 标 区 域
进
# Z1 ]6 B1 ]) k5 D& i  m$ N5 ~7 D行分 割 的同 时 即 可得到相 应 的 区域边界
，
) Q; W+ K- Y' l" c1 \0 S% i2 M. k" `具备很 好的鲁棒性
$ F% y% [6 n5 W, \# F。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
. f5 T' z9 K9 w2 C3 x  Q经过背景 虚化
9 j$ F! H$ S* M* _2 j+ N、
4 @  }0 o0 f5 J1 _0 p) ^缺失部分 补
全
2 u+ v: K6 B2 Y等步 骤
，
8 s. G* T: _4 M9 W8 r基于 生成对抗网 络进行标准人 像 的合成
1 R7 V! ~5 i: G1 E+ `7 V# y，
, E% E! I  Z4 ?* c合 成后 的 图像具有 特征点对
齐
& N, h" M+ b: a  j. [后 的 人脸位置
，
! U7 o6 B# y4 P) T: H1 C且脸部 及肩 部
1 b& k+ {2 }" X1 c! ~8 k、
6 ?$ k( B  o# Y' X" D/ i5 S+ r$ N上半身 等部 分都具有 统
一
+ E' O/ t7 x$ H. n- p的 分 割与合成 效果
。
该
1 E* [' [) V; l, ]方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
可以 实 现人脸 图 像 的标准
化
，
& Y8 M# D' k" q2 R" Q5 P同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
) c! p' ^& F7 g$ z0 A* X该 算法可以 作为人脸
识
别 后 的 处 理步骤
，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
0 f5 A3 d) n& e, T+ U致的 图 像模式和对 齐
) T& z' p( K2 `* a  {后 的人脸特征 区 域
& g3 A) A7 Y. Q# d5 A，
7 j' ?4 {) k# P) V; D同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
2 w6 J: [3 M5 K) T2 ?有效改 善
现
& w1 Q; o4 j' l% h: A有 人脸识 别 与分割 算法的 效 果
。
' D% v% P2 ]% O6 p9 y6 q- p３ 、
最 后本 文提 出 了
# U+ x- e/ |, o一
9 k6 u2 o4 b0 m种 针对人脸 图像进行优化 的 超分辨算 法
，
; {! w- G; e' o/ i& \9 Y0 H% e相 比 于现有
) K& U8 W% {- F/ }+ p: v的 图 像超分辨算法
- s7 k0 ~  _. y* Z  c1 c0 g9 e，
该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
, s. f6 L. ?1 r5 ?Ｉ摘 要
和更加 细致 自 然细 节 的 同 时
$ a5 r. m; |% W# `! h$ v- ^，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
1 k) y7 I( `2 F6 b  N致
的
9 C5 Q4 i* j7 o  b& e5 _人脸身 份信 息
9 J) f+ b2 D- c2 E5 s0 d: O。
# {" y; S, C( n2 h' W1 p. C: E2 K算法通过引 入 生成对抗 网络和残差 网 络
, O/ v0 r, A3 E4 F，
实现 了 上 述 目 标
，
$ e9 [( u3 M9 N; s1 c- S可
$ v0 d6 Z  k+ f% t8 S. l以
实 现图像 的 ４ 倍甚至 ８
, d: v; @! e1 r% k倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
# e% x# Z" H  n7 z2 i5 X- l，
7 w2 D( N( ~' H+ |+ |9 }1 B同 时算 法具有很好的适应性 和 鲁棒 性
+ d/ p  `  K$ c2 m1 n，
对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
0 i: R2 [7 }7 b7 ^: w该 算法采用 了
% t. E) U2 \& }0 V3 K一
种 端 到 端的 灵
$ ~9 G2 Y( n6 s  Z, `9 X+ [活
4 z; {" m$ ^, t6 f  C# {的层叠式结构
* X; p1 i0 Z( x, ^，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
& {( M6 V- x- W) K  q2 X。
４ 、
本 文在人 脸合成 图像的 对 比过程中
* Y; d5 F# s% f) D( `& c$ f，
6 b9 A9 v2 y: S" C! s% B提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
$ M8 @7 H3 ]* fＰＳＮＲ
（ Ｐｅａｋ
9 X) x" Q! |  Z0 p  HＳ
ｉ
8 m6 s/ R$ n+ n1 Q" ]ｇｎａ
ｌ
( O" r* b. t5 i% \0 p－
ｔｏ
# Y6 z7 r0 G. C0 m2 E. ^) X, {－
Ｎｏ
" l# J7 p9 z% e+ W& Dｉ ｓｅ Ｒａｔｉ
2 i5 |( q' R3 o  Y: Iｏ
& ?1 L( s4 f' h7 i- h/ ~' U, W& M1 e）
9 \) F0 ]: M* E! Y% r和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
. J: d& T% R6 E3 m# c' b3 Z－
ｉ ｌ
ａｒｉ ｔｙ
ｉ
1 m, y6 w! I5 m4 e9 dｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
% A2 v4 J' _( h$ z5 c& L- QＤ 值能
2 T5 \* K! n8 x6 o' B0 V. `' G够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
+ B: a; e1 i1 v' T2 a9 b，
同 时通过全局 特征 信 息 的统
6 H+ @" m! F4 Q5 C9 \) F6 e& w# _计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
' }9 Q9 @% {: s3 @8 t6 v: uＳＳＩ
* Y+ ]$ K: {. z; j9 S6 }* c! A( _Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
( R. K) I' g/ t细节质量等局部信 息
1 k% G7 G  K: G; x1 W2 z$ d. t。
0 `6 D: T+ H/ Z( w+ |/ }% X# ?; @通
/ n/ w$ K2 m6 r- P  d7 O7 z过
三者 的结合
! q$ G6 \% l- P' h，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
合
成后 的 图像 与 输入 图 像相 比
) X) ^, h% h' L/ n! w& v，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
: M% j5 t+ f  p- b# v$ F) o


8 ]6 L. x% g! t& S0 U9 T0 _+ r
" X, D' t. g( w
5 M( B& q1 |+ q* d8 `