用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
8 t; V% ?  n0 C+ g! m* N% [
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
" p; }7 R& @$ Q  l4 P尤 其是 基 于通用 图
: P$ O4 _: ?+ W" v形
处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
: `) T1 A, L" Q" g( m  x5 O$ t。
随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
．
传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
/ A& c9 _& h. v3 v$ T，
/ b5 }$ b, C4 Q/ Q) p/ P- O尤 其是 ２ ０ １ ６
年 以来
，
( \; _) D  T2 Q( C基于 生成对 抗网 络的 图像处理方法
& \; S+ i4 U- Q，
在传 统 的 图像识别
，
9 z: D6 a- d; [7 U# Y, i图像增强 和 图像分 割等
领域之外
，
还实现了 基于 先验知识 的 图 像合成
，
但 图像合成过程中 仍存在算法
! U/ A  ~% I6 }4 P' T结
1 l- J. U) Q8 K% R果不 容 易 收 敛
，
计算量大
，
优化速度慢
  [0 k3 A8 T! k/ M/ k# F5 C，
$ H0 z+ I& l& w) I# p8 P/ N6 B图 像劣化 等 问 题
。
针对人脸 合成 图 像
: |8 z) s7 L/ w# B，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
1 c9 h) Z4 c8 m5 ?节还 原度
5 C/ A3 `5 j9 V3 v% \- G，
( r. O2 r3 N" h& s2 z( r3 F而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
. _, T! O/ v6 y% X$ f0 `0 G: c一
致性等方面
，
仍需进
一
9 T% W& @9 v6 q% j8 P9 s步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
, D9 D2 A3 D; Z，
将合 成过程分
5 n3 S# u; f5 p# `# _  s成
7 p& O) \5 h3 L6 h- X) y/ q了
３
5 j: _2 r1 s  H8 N# t个 阶段
: ~( A9 H; Y+ a/ ?. c1 e( [，
首先 是 图 像中 目 标主体 的分割
0 G1 A& ^3 Q5 ?/ k; k( W- i，
' t8 K( C$ |( M2 p6 Y$ j其次是 人脸图 像的合成
$ m$ @% y5 a& v，
最后 是 图
像的 超分辨和 画质 增强
  z* V2 Z; n% |，
; i! V% Z: U( c- b# s; R9 M实现 了 人 脸 图像生成算法的 识 别
，
* l: r; _! P* z, p% ]$ ?1 f+ f) Z. p分离
2 L1 i5 h: A5 Q8 n; `6 Y; v，
合成和 画 质 改
善 的 全过程
。
$ n) H/ A* W8 H0 K$ U针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
% {+ u" w) |% [4 p  L( m，
本文 主要解决
了
! @# S/ G& G, H. K5 k( I/ b人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
主要
工
- L* {5 S6 }. N: q/ I( I2 q- K作 内 容和 创新点 包括
：
１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
, F. z& m$ T7 z; ?0 F，
0 i& Y; c2 j4 v/ J0 k$ l2 `设计 了
( k9 a1 D# a$ k5 ]9 m& E2 r" e! h一
种快速图 像分割
" K7 |) b) A: `3 X1 p! F算法
，
该 算 法通过逐层 二分法
一
! m: J7 p% n  a& n次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
( I' d7 u/ t) X3 l该算 法不同 于传统方法的 先 由 轮廓得
到
连续的 边界
，
( f. R9 l1 I5 ]0 ?再得 到分割 区 域的 做 法
, ^& [/ ]) L1 M) M+ s2 u) M" D，
' c- s) b3 K% D' U+ Q: l而 是 直接基于 颜色 统计信 息和像素分 布
/ i, \( z  u5 f% A: a9 g8 A% r6 w的
$ N: i8 z6 l' b# H" U2 h; e形态学特征进行 目 标 区域 的划 分
$ L# @: p1 `$ ?; `8 f8 K8 S1 L% I，
减少 了 边缘分 析的计算时 间
* o1 n$ }0 j/ o# e: T7 ^9 N，
且对 目 标 区 域
进
+ d# v& O3 j0 z1 p& o9 f0 V行分 割 的同 时 即 可得到相 应 的 区域边界
3 y; I, I/ h% p4 K- ]，
" L" ], k8 G8 @( l具备很 好的鲁棒性
' P' |* ?+ f- T# }。
* r9 |! y# Z" U  I2 ]: d( I２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
、
% ]9 L# E" M% I8 d) g- \缺失部分 补
全
等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
齐
) G% F( f) U, h$ V9 g6 f4 u+ z后 的 人脸位置
，
! r5 J9 ?8 \; M* |且脸部 及肩 部
1 `, i+ V) M5 A/ ~8 n、
上半身 等部 分都具有 统
一
的 分 割与合成 效果
7 m, L/ T" x( c, m% h" ^) f。
! i- W2 S/ j% d" u该
) e/ \2 I+ V2 Q+ t$ C方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
4 f! j$ b7 ?. G1 {  O* k，
可以 实 现人脸 图 像 的标准
化
，
; S# l+ e8 n0 D) r6 u4 U. v, I同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
5 F# H6 S4 C: Z5 z3 n8 m2 u1 `。
9 `+ x! t$ E* Z9 c$ l8 d+ O: N该 算法可以 作为人脸
4 ^, l& H6 G( u( u  d& {识
9 q. g  k, G0 s: j8 u& c2 r& N别 后 的 处 理步骤
  l9 {2 S9 \- u$ C/ L) u% N，
3 T# B% [! p+ I, j) r# S" J' B处理后 的 人脸图 像 相 比 原 图 像具 有更
* u. h" x! o, I$ W一
致的 图 像模式和对 齐
3 M3 ^0 R3 n  R5 E& _后 的人脸特征 区 域
$ l5 E* C- h, [9 t8 {, @) H# J，
6 J/ }) o$ M  ^  ]# O/ v7 T* b! B同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
6 G! R1 q0 A  W7 E9 _, e1 d2 X现
% ~2 X8 w  I; A/ u% r有 人脸识 别 与分割 算法的 效 果
。
３ 、
4 a% l2 \( q0 K" d. T最 后本 文提 出 了
5 t' D1 W; d4 N6 R* q8 `一
# {  J, S% u0 A+ u  z" d种 针对人脸 图像进行优化 的 超分辨算 法
，
' U, T& T1 @! b相 比 于现有
的 图 像超分辨算法
，
' o8 y% `. D3 D& ~6 ^该算 法在图 像 的超分辨合成过程中
5 |; q& L& A% W) r$ ^，
在关注合成 图像的 质 量
9 P4 e' M6 j; b9 hＩ摘 要
和更加 细致 自 然细 节 的 同 时
，
$ o& X# B( `$ R更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
的
" U( T0 T0 v$ v4 o: z/ M* Z人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
# X  d7 ?) C0 C，
; F; G( ?! H0 m7 L6 {! T实现 了 上 述 目 标
，
可
以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
! C1 z7 x, x* i5 G. o# g，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
; X) ?2 G9 I& M6 r3 M+ f* u! @，
同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
3 k# p6 |+ Q* c- t& A" t& i' c库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
一
种 端 到 端的 灵
1 v$ w$ C! v! z! V活
的层叠式结构
，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
8 @. n: F7 B7 r* r。
; v4 Z, o% L" g* X9 a４ 、
本 文在人 脸合成 图像的 对 比过程中
，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
+ G" F+ U9 \9 g4 aｏｎ
, R' }" S: ?; N8 S2 a$ E. L0 H1 Y! UＤ
) e7 h( {0 q. h; ~ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
ＰＳＮＲ
* P1 V* u! |/ p/ f' p9 O4 `- e7 C（ Ｐｅａｋ
: t4 L' m( T# dＳ
! m" }8 B( G/ P/ Fｉ
ｇｎａ
ｌ
9 J4 M  b7 N2 h9 i2 w' F$ D  z0 B" w－
6 D  q5 r7 \$ x5 A  j1 D& _ｔｏ
－
3 J& |. e3 b, S) FＮｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
" V! @/ n4 i' c7 J6 F& `）
* ^7 Z: G% R: p6 \# p5 a和
, X4 C* T2 m" X& D5 n( _Ｓ ＳＩ
Ｍ
1 |, c, m5 k3 r  m（ ｓｔｒｕｃｔｕｒａ
/ ~1 e% V: E: Tｌ ｓｉ
ｍ
－
ｉ ｌ
+ ?0 A. M" N* \: nａｒｉ ｔｙ
ｉ
2 a- W! b, W! Cｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
2 u7 D9 k8 O$ t; W  s# @，
因 为 ＦＩ
Ｄ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
. H3 `) i3 Z2 u  A计得到 图像整 体的合 成效果 与 原图像的对 比
7 X& R8 x+ d1 ^% E  Z。
" v0 [* u6 N4 j: QＰ ＳＮＲ 和
# x. l- n7 B1 p' J8 Z) H' I9 uＳＳＩ
Ｍ 则作为 图 像局 部细
$ f( W6 i) c9 D+ n9 i节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
。
通
过
- m7 P5 Y1 f: p$ a三者 的结合
! P! Z- T5 k. {1 R，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
0 f/ M% l6 c7 o  U，
同时 评价
8 I7 K+ ~) u+ @$ X0 k# Z+ Z合
成后 的 图像 与 输入 图 像相 比
$ H0 T, T2 c/ l1 S7 y: y，
4 z$ V& X& Z. e0 V其 中 的人物身 份特征是 否能 够得 到更好 的 保留

6 q. T! g0 X0 H3 q% Y9 v  e



% V. E( b2 Y1 a# d/ h3 j" l4 ^& Z