用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

( U, m/ h5 }6 z, d( \随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
9 ]- ~8 Z! T+ A2 N形
处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
。
: [' B6 C7 {% r1 e随着 基于
! s0 g/ U3 {+ H9 g; z; K& |% G卷 积神 经网 络的深度 学 习 方法的 出 现
，
．
传 统 的基于 数学 模型 的机器学 习 算 法在
0 j7 r  T. I( n0 X' `很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
尤 其是 ２ ０ １ ６
2 A3 ?2 B. I4 Z* o1 k* P年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
  d- T5 R! i1 G在传 统 的 图像识别
! `5 p1 q( c  J7 Y3 P7 T7 w，
; w7 k. I1 k2 ]3 d: c( j  w5 G0 y图像增强 和 图像分 割等
领域之外
，
% D% n5 C* ?/ i8 @& [) h还实现了 基于 先验知识 的 图 像合成
，
* k: |2 o0 {. x* w9 x但 图像合成过程中 仍存在算法
3 v9 @0 p' N, L" U结
果不 容 易 收 敛
  T$ P( O( x2 W% v9 U5 v% ]! B，
0 u, p$ K2 H9 v; K5 J9 o2 u+ H/ s  e计算量大
，
& Z( I. u; f# r6 K优化速度慢
$ M8 ]" B8 Q1 ^, Z. B，
图 像劣化 等 问 题
。
6 u1 L' ]! t4 X9 g针对人脸 合成 图 像
4 A8 }6 H' x% S& i( @，
! ?. U) z+ B5 }+ J9 G5 [/ \: g已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
: ~+ b  V8 E) V节还 原度
6 A, D7 C3 j6 D' c: I，
4 B3 ^3 z8 |- H# t而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
, p1 {  C2 p1 k* }8 W一
0 I5 C! @  [4 |0 Q+ G3 ^致性等方面
，
7 d# _+ V- z$ f* E/ h5 x仍需进
, r, w  {' S& x7 L0 c( u" f) I一
  j# T; o' u7 j( b) ^& }. N% P步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
* s+ C% n6 H! Q9 z; A1 ~将合 成过程分
3 _+ T5 l& s$ q! [1 }3 S% E成
/ A* G+ ?9 [9 t了
３
个 阶段
，
首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
7 _- K2 R( v6 V; n) }' W; i! L，
最后 是 图
像的 超分辨和 画质 增强
，
实现 了 人 脸 图像生成算法的 识 别
5 L# P3 h. T' L: o，
" u6 G# y/ {1 ]8 f分离
，
  Z) Y& S$ c, o合成和 画 质 改
. Y) ~% A1 H+ l; }7 _: G善 的 全过程
5 Z1 y4 w9 u7 n7 P. @。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
  l! A% \( [& X+ T  G( p5 R了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
5 P, p" O/ B8 T* ^. U; S! \主要
. l& h: N# S6 h* q: a工
作 内 容和 创新点 包括
1 \* l! g$ d( A, d0 G1 l* r; f5 {% k：
8 V/ c/ o8 D3 }, b$ L１ 、
& T* g$ E' Z  S基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
' ?! C( Y% {6 ?7 O一
种快速图 像分割
1 ~& N' J- [) k0 j算法
& E; ]9 R# S# _，
该 算 法通过逐层 二分法
2 i0 x6 t' M. ?/ ^$ q& U+ u$ Y" F6 w一
5 Q5 s1 g1 w: k1 X( a! H7 u次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
* s# ^/ ?1 W0 r% B3 E7 k& e，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
9 M5 p* Z- N- ~。
该算 法不同 于传统方法的 先 由 轮廓得
到
& M3 c  {4 Z, Y/ H* V连续的 边界
) x% ]* w4 o8 ?- B# C9 W，
再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
" b  c' |( O# d9 A! ~8 C的
形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
- S0 E0 {5 r# }9 Y% V% z) `，
且对 目 标 区 域
; ?$ \; \  T- n0 K进
, i2 ^+ S# z+ I8 O! y行分 割 的同 时 即 可得到相 应 的 区域边界
，
具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
5 I/ q% a: I: `/ K" E) b，
$ I$ {5 c% t6 A6 t经过背景 虚化
、
( t; t9 E0 e$ h" V3 u- q- q缺失部分 补
全
7 [" A7 r" I' P. y8 T- d等步 骤
，
) ~( K/ q1 {  V: C$ o$ ^. N基于 生成对抗网 络进行标准人 像 的合成
; ]' p3 d% Y" q8 g1 `，
合 成后 的 图像具有 特征点对
齐
: [% n, p$ S' n% q6 f  }后 的 人脸位置
，
. @- E) p4 f, t9 d" k1 s- B且脸部 及肩 部
$ J  a6 i9 E! R6 [. l6 o2 B、
上半身 等部 分都具有 统
: H, v/ s# t, ~8 g5 K& e一
的 分 割与合成 效果
6 D( R9 \# m- m1 f! T2 B。
该
; ?& @% J% b/ W方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
* ]8 N$ |: d% E$ L，
  i* K. R- t7 Y+ G: e: V& b可以 实 现人脸 图 像 的标准
化
1 A" A- E6 P" _+ L，
' a8 W! A7 y$ n. p5 Y, O/ N8 E同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
7 u, ?' i. R% |0 P' e。
4 X- ~: k' H7 N- j- ~4 k8 v2 a该 算法可以 作为人脸
4 z2 A& a5 ~" Q! q识
0 a* ?( D; O% E* _别 后 的 处 理步骤
，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
% D+ x, `  k/ l7 ^/ {4 N致的 图 像模式和对 齐
后 的人脸特征 区 域
，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
/ T6 s% k# z' e3 G! q% q，
有效改 善
现
有 人脸识 别 与分割 算法的 效 果
。
３ 、
最 后本 文提 出 了
一
4 H. a* e0 H8 a! D  G# |. v6 H种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
$ F- ]/ D  E, d* w的 图 像超分辨算法
6 W' c8 c- E9 L9 T! a8 |( d+ r，
# J( W9 c4 a" I该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
# z4 x+ y  H; k: `" O! U0 f& v; N& PＩ摘 要
和更加 细致 自 然细 节 的 同 时
，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
, R; L& c  S1 f( Q1 y0 z/ Z7 B一
致
的
( z# C8 W0 d! `. T5 d. t) Z2 @人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
# {# e7 r8 P( Z+ G' T) i' Q7 }) d3 @，
$ p$ m& p: c6 x) e1 b5 q3 Y实现 了 上 述 目 标
，
可
以
* m, k: e5 H: p. `0 Z/ j% i实 现图像 的 ４ 倍甚至 ８
1 }+ @& ~( k; q% ]5 [6 ]/ I倍的 放大
，
8 G. v  W. [( X' ]将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
% o( R) R  H, n人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
8 |; h, R' }/ W+ Z) u% m，
; z* }: v  e' X: f7 ]! G7 j# \对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
+ q9 A8 a1 J: a。
" S+ h! s) e3 Z( f该 算法采用 了
一
3 V- ?2 s0 y5 j种 端 到 端的 灵
9 X2 f' L" [% P2 F$ p8 r" `活
的层叠式结构
，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
４ 、
& U- g1 P9 n" r: C本 文在人 脸合成 图像的 对 比过程中
$ {9 N9 W7 P- W9 V. V1 k1 X- m，
提 出 了 使用 Ｆ Ｉ
  j9 ?0 @; _$ Q8 S& i( i" FＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
  O  Y; M) C- w: y" ?/ AＤ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
ＰＳＮＲ
（ Ｐｅａｋ
Ｓ
- [7 d% h8 D/ g, ?& r" ?ｉ
ｇｎａ
ｌ
－
, K5 n2 E. T7 Cｔｏ
0 c7 P  `  i* _% ~/ {( G－
; ~; p' K& D, M* @0 p2 j6 @* eＮｏ
% E; P  Q8 D- l% b7 `2 G7 rｉ ｓｅ Ｒａｔｉ
# w) O0 n1 T! [6 cｏ
# F% B6 O* c& w) ^% m. ?）
1 L7 P8 S: i' q* p3 L* \和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
－
ｉ ｌ
ａｒｉ ｔｙ
ｉ
* J" A! S; J0 h' t  u7 r6 Wｎｄｅｘ ）
+ ]8 n  t  F1 t- _参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
Ｄ 值能
+ Y/ b9 ^. B: z: }8 e# J4 h够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
0 Y1 F. b4 ?9 i" p% C8 Q同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
。
  {( c& P! \9 gＰ ＳＮＲ 和
- Y  f1 U  ~- c8 G/ C! RＳＳＩ
/ Y9 Q( p, y$ J, r# E& R% J$ lＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
) Z& M& O, Y) g  c9 p。
通
过
+ p$ c7 J0 [5 B/ E7 v三者 的结合
# P2 Y" i* J2 e2 R，
$ u( Y( T2 n7 [# f4 v- N可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
2 W$ P/ r. t9 d$ t，
同时 评价
& Y5 e: `+ V# K' z, k6 p$ q合
成后 的 图像 与 输入 图 像相 比
9 }2 Q6 Y1 Q% ^  C( I8 Z，
. |6 u9 b- ]- b4 o其 中 的人物身 份特征是 否能 够得 到更好 的 保留

$ Y$ r- j! d' {0 {5 `
& W* K3 D) j+ Q3 @' w! [1 d

! G: d$ p# B  G9 e8 o( o
9 z4 `' E' E7 t9 E6 o7 U