用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
# x4 q( J6 x4 E
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
  `* E& a8 e, }8 x, F( A，
尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
, {& j0 b9 \7 o+ p  b，
机器学习 领域获得 了 快速的进 步
。
: Y5 R- i: E6 Q% f2 J/ c: z随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
; A% g: V! E: s# `) c0 s．
: L, W# W. o5 B$ L传 统 的基于 数学 模型 的机器学 习 算 法在
4 g! U! F) F- f* N4 r/ n很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
' b+ Q* p( @4 s  {% `! K，
尤 其是 ２ ０ １ ６
年 以来
6 G2 t; b9 J9 P% y6 `0 }% l* C，
* n8 Z* s9 U3 {基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
3 D  Y+ Y9 t' t* ^) f- C! h8 h，
8 ^; M6 p/ f. I; y7 G% J图像增强 和 图像分 割等
领域之外
( M4 O8 r, ^9 Y( A. v9 {，
) E* x; t' f- o4 g2 \( A/ g; x还实现了 基于 先验知识 的 图 像合成
' A  `1 E' D: x0 g# Y8 b# e) K( C& d& J* E，
但 图像合成过程中 仍存在算法
结
果不 容 易 收 敛
+ c: A7 C7 v1 g* L6 F" [% w" H，
计算量大
，
优化速度慢
- A( E8 z. S7 {% m$ j，
7 y9 D  d! e2 g# s图 像劣化 等 问 题
。
, _% B* {! \+ u0 ^& u9 G$ F) @针对人脸 合成 图 像
，
( }7 O4 H6 f0 c7 G$ v已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
7 G( E1 k- S- o5 R节还 原度
& O& W4 {" B/ M3 e/ B，
4 X5 f5 v0 I. |# S: y7 }而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
/ F* \: |1 h, g+ [1 k4 Q一
, O2 |) u7 Z/ Y8 k7 `3 j致性等方面
# \6 J9 g& Z2 C. |，
* b) W( Q3 s+ {- K0 a7 Z仍需进
6 a: w4 Q4 z0 ?4 H一
步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
) O. K9 k# O3 L) K' r% S7 c，
将合 成过程分
) g- N$ z( m& R成
8 v. B9 e9 ]6 }( n+ W, W0 Y了
３
个 阶段
) F9 A" K: s8 G3 D4 B8 T，
5 s1 R% ~0 ?3 v" I. ^- `. z首先 是 图 像中 目 标主体 的分割
5 x8 J% |* U, Y5 T% @，
其次是 人脸图 像的合成
+ k6 R# g+ w$ A, e* K，
8 c5 k! M- ~! Q" `最后 是 图
像的 超分辨和 画质 增强
，
9 c& K- U) ~* x6 y" f- u( K实现 了 人 脸 图像生成算法的 识 别
# F0 c$ E; ^4 J# F5 c  [- k，
分离
，
$ S% u1 I; A% N* E3 b合成和 画 质 改
+ r0 e  Z6 S- f. P善 的 全过程
。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
' ~$ q3 d- s; T9 _8 u/ X0 T' u: E4 N本文 主要解决
了
6 a3 p/ c% o) ]$ `1 x人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
4 z0 ?6 F& u0 c9 b，
主要
6 R# Q2 ^' G  O7 O* ^工
/ f9 }  o  e- @* z作 内 容和 创新点 包括
：
* ^+ q/ o$ I5 v: d# w１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
, y0 Q( j, W2 f- {0 H，
. T' i) V5 N3 N2 ]! U设计 了
一
种快速图 像分割
7 s3 r' d4 f6 B算法
，
该 算 法通过逐层 二分法
+ {6 J! v& }! k" |9 W) d一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
6 ]& p/ C% m& M5 ~: `/ s/ \，
; P/ H7 v+ i/ E% g同 时 由 分割 区 域得 到相 应 的 目 标轮廓
' Y5 o/ \+ d+ M5 F* j" Q。
该算 法不同 于传统方法的 先 由 轮廓得
到
2 l6 ^3 _# s. T连续的 边界
，
再得 到分割 区 域的 做 法
' ?+ g: j* V1 b) Z，
而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
，
* V8 Z. q. ?  _+ e减少 了 边缘分 析的计算时 间
，
且对 目 标 区 域
进
) Y" u, {2 I6 P5 z行分 割 的同 时 即 可得到相 应 的 区域边界
" q( w7 u" c: n, A，
0 m; G  N% V5 k/ ]! T! f( K* |具备很 好的鲁棒性
  K' f3 Y, x) ~1 S6 A0 @/ o! u& s  d9 [2 D。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
! U8 R, Z5 O2 y6 Y7 ?. p经过背景 虚化
、
) h6 x/ @7 [) f5 y3 [. c, w缺失部分 补
8 @) A0 I1 ?# L) T全
7 }1 f+ B% E5 V/ b等步 骤
' A$ c8 ^; }. u+ }) |7 t: v: }7 L，
基于 生成对抗网 络进行标准人 像 的合成
* o, L0 s" H% e7 @，
合 成后 的 图像具有 特征点对
2 V4 z. s1 B8 ]' p! e* t齐
后 的 人脸位置
$ r, I" T( a+ H，
且脸部 及肩 部
、
上半身 等部 分都具有 统
一
的 分 割与合成 效果
0 p( O$ k9 Q0 Z& ?。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
& @/ O2 E" F$ M9 V4 l2 y可以 实 现人脸 图 像 的标准
) X1 e4 \6 m9 \化
+ B7 c- V6 {9 p* X+ Q8 \，
4 ]9 i6 B$ p" Y同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
% x# s. c% O# \- ?! a" i% Y。
' ?* f1 u& f) I8 n该 算法可以 作为人脸
识
1 N/ D/ {) C" a- ]# S- _  t别 后 的 处 理步骤
0 V2 _, N6 E% n4 R8 j/ z7 @) i，
# G' _/ ~7 b% h% N处理后 的 人脸图 像 相 比 原 图 像具 有更
一
1 j5 q' w1 v% p# B. t" o致的 图 像模式和对 齐
3 _7 H  w4 f( b后 的人脸特征 区 域
5 `) E7 C& g8 L, ]' H) Q2 E，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
" q1 f$ k0 i+ ]* R2 s; i，
" o4 l9 [" r# ~9 a! G& J  c有效改 善
  m: J2 g, d3 V9 \/ \2 h; M* X现
( v. A$ `* d# y. q有 人脸识 别 与分割 算法的 效 果
。
/ o* Q" s" t2 ~３ 、
最 后本 文提 出 了
3 M& U3 r- @" \一
种 针对人脸 图像进行优化 的 超分辨算 法
，
% v5 L, [1 [$ y. m相 比 于现有
的 图 像超分辨算法
，
7 |4 y7 O" h) f$ S该算 法在图 像 的超分辨合成过程中
- j. ~) M" t- d% ]# K9 h，
在关注合成 图像的 质 量
Ｉ摘 要
. b9 e3 I1 o/ d' s* U+ Q和更加 细致 自 然细 节 的 同 时
，
% N% x  f- Z5 l9 N7 a- y/ N更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
: n( B; N, W1 q6 t, U0 ~  `' I致
的
人脸身 份信 息
1 \" Y8 K6 t+ O。
5 V! c+ J' l" X3 Q+ D. n% b1 K, }算法通过引 入 生成对抗 网络和残差 网 络
4 c( y) N: _& g4 f; v/ a+ K4 K，
实现 了 上 述 目 标
9 ~  d& t& {) p7 F, A) H，
可
2 {  A7 q1 P/ e' K. f) N' S以
3 d4 o" k& H& ~7 ?7 N实 现图像 的 ４ 倍甚至 ８
0 H, N. v$ X' F; P8 [# }倍的 放大
，
3 y* ]* Z; A! m* y- y/ L, s( v0 B, U将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
3 j( b3 d0 o* \) k7 P% ]! V2 \人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
% j/ X9 \8 m, c# F9 u。
该 算法采用 了
一
1 Y$ N2 I( |& H$ t2 p种 端 到 端的 灵
8 Y5 }. k2 n; N9 j活
4 c" Y4 j9 A, M. P0 ]' ^$ L% T的层叠式结构
，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
0 Y; w9 `. u' j1 e。
４ 、
6 A9 x5 c/ S, x: {8 g本 文在人 脸合成 图像的 对 比过程中
- |9 J2 y/ r! m$ ?; H，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
4 h, o$ s7 i8 B3 a: I$ f8 Rｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
! u3 D4 S3 T7 a1 K- g代替 以往 的
4 d/ k; y5 v( c( m  z+ DＰＳＮＲ
（ Ｐｅａｋ
9 {4 c9 g# c+ o2 u! kＳ
ｉ
# ]# o- h5 ~8 _* m. s% Lｇｎａ
5 _1 W; l+ E, N4 C$ T6 _/ b8 X5 bｌ
－
ｔｏ
% }7 W( ~' {) C  r－
Ｎｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
）
和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
: m7 C$ u2 X+ S8 B# T- Eｌ ｓｉ
" u4 w6 Q+ P: d" i( z* c7 Eｍ
－
6 z, K$ t% Q0 C6 S* i2 b' Tｉ ｌ
ａｒｉ ｔｙ
8 C0 `% x/ w- K5 Rｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
  M) q( }- ]9 G) Y3 Q因 为 ＦＩ
Ｄ 值能
+ [+ {5 r6 F- E; d) U4 O: L0 k# n够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
( V# Z, s3 F& T* v  B, v0 g3 w6 u5 F，
0 `% t+ D- V" g! e! I同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
! f" R0 H9 G9 x) {。
Ｐ ＳＮＲ 和
+ q* A0 f6 }: X0 t1 g4 g/ q: rＳＳＩ
9 M2 N, F; V1 @+ Q8 S# J3 y% t0 Q9 P% tＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
2 v- B/ p6 T7 K2 H. G，
细节质量等局部信 息
+ t6 {* C) v4 r) w; s2 m。
通
过
三者 的结合
" g2 G9 M+ ]1 T，
. Y0 A0 O3 X6 b. j  I& f' `可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
- U+ s2 N5 L  u; {: K9 ~) m/ `，
同时 评价
5 L; L, x! d+ ^; ^1 W$ U9 _8 E$ p合
成后 的 图像 与 输入 图 像相 比
$ H) ?0 b. ~( u# \+ D# f，
, ~9 `; }. _( ~其 中 的人物身 份特征是 否能 够得 到更好 的 保留

5 v6 ?) y" d% F

( t4 Y) c+ h* V: [- N

. j( x+ U' w$ h+ ?% u