用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
) J9 a+ U3 x, s& ~$ X$ j$ n
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
，
* J2 u' O5 ?- p% G; A$ r3 }% M机器学习 领域获得 了 快速的进 步
  m; |. l% V+ ?/ [2 t! \1 g6 ?。
( n" R: _: B5 y随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
．
, j) {9 w, n" j: v传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
/ ~5 i4 O6 G, D  q! W尤 其是 ２ ０ １ ６
) @' t6 ^( n: h0 J2 d年 以来
& j- ~& X) X: a( F4 u+ A，
% W; @! T5 E2 a$ Y5 Y. X基于 生成对 抗网 络的 图像处理方法
，
# S% L' Z8 f: g+ d- d在传 统 的 图像识别
: |2 ?2 N) A& o, M- e，
图像增强 和 图像分 割等
领域之外
5 H0 [6 ]4 C; W3 b3 C8 u9 K，
, `. r9 ~  e8 Z8 M还实现了 基于 先验知识 的 图 像合成
( C: w3 L2 Q2 Z，
( R% c! q! h9 F& ^' a: V但 图像合成过程中 仍存在算法
; o7 `2 J3 G% D6 U; r结
果不 容 易 收 敛
，
计算量大
，
8 Z& S, q8 |7 f6 H" g1 a9 D优化速度慢
, b1 s" H0 J# S( d0 s# H% W，
) l9 ^$ {; C( r( e图 像劣化 等 问 题
。
- p* b6 u5 z. T' |/ R2 F针对人脸 合成 图 像
% X. R9 q1 l5 N9 w8 P( r，
4 D1 W; N+ S' z) r已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
! n* o8 a# O! }' ^7 u- }节还 原度
，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
* i- L6 j9 u' @* h% j6 P致性等方面
，
仍需进
一
步 研 究和解决
2 N/ a, m1 D) \4 L8 k7 M6 ^% b。
" r! a4 y9 x/ A本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
. b  s) p. l6 V; q& J; g，
将合 成过程分
成
: ^; Y- ]2 D: `( q了
  ]+ a! D8 f( U4 |7 r7 T３
% x# S  ?! a- O* b- b! Z" `: @$ e个 阶段
，
, L5 g+ K! R2 g" N! e# e, t首先 是 图 像中 目 标主体 的分割
" c' z- d/ e" [! W4 ]3 [9 {3 A) D，
- N. }4 e5 @+ K, f% U3 c其次是 人脸图 像的合成
，
( `( N( w# G9 \* X1 S最后 是 图
像的 超分辨和 画质 增强
% o' l; Q2 K' T8 M0 C; V( M，
实现 了 人 脸 图像生成算法的 识 别
，
, r, D$ e8 d) c3 `* r分离
: S3 P+ g& e" |: D# |0 S9 E+ a，
" G( x, C5 Y( l8 S合成和 画 质 改
4 `2 i- \1 M9 |: G6 C! J8 v善 的 全过程
。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
* ^8 B5 c# Y8 J4 c+ K，
4 O$ k+ V' F: Q$ R本文 主要解决
了
: N$ F8 }( ?! w( j人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
- ^' S* r" W4 M主要
工
作 内 容和 创新点 包括
1 m  l, e9 I. o7 O  @) `2 \3 g：
１ 、
8 O) i2 \6 w6 C9 `# D  z. y基于颜色统计信 息的 高斯混合模 型分类算法
6 T5 ~5 }/ c5 L5 `6 M，
设计 了
一
6 A0 E: m* _1 L( T0 t种快速图 像分割
7 N+ @' _  u( b! b算法
- @7 H: D2 u) M, {, d5 Q，
2 R  p. _& J! B, m5 U7 e该 算 法通过逐层 二分法
4 P+ z" s5 |2 d. L一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
- |6 ~: u# r- y9 l, X9 u& J同 时 由 分割 区 域得 到相 应 的 目 标轮廓
% Y7 j( [& O" g8 V. y; G。
该算 法不同 于传统方法的 先 由 轮廓得
( I: a% d1 C9 [5 [到
连续的 边界
，
再得 到分割 区 域的 做 法
2 z: H* R3 Y% o% }，
而 是 直接基于 颜色 统计信 息和像素分 布
7 m. ]# s) ?: Q' j, r的
形态学特征进行 目 标 区域 的划 分
* ^1 \- c# t1 X5 ^2 A: \，
( P: _" O0 o5 H% g5 ]& w减少 了 边缘分 析的计算时 间
* e/ F: }( f' X+ i& c6 T5 Y，
且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
: q" {& k+ n& l/ V3 v8 m( w，
具备很 好的鲁棒性
。
5 i$ z5 v5 p' M+ s２ 、
6 Z' b! q- s+ m7 M/ I从包含 人脸的 任意 图 像中 截取脸部区 域
8 M2 \# C; q/ h3 x9 y，
经过背景 虚化
9 t* \: P; L) e( _% [7 P% Z、
* p1 z/ y& x) m缺失部分 补
全
等步 骤
，
. H7 b# W" |0 ]6 H0 h基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
' f) E/ k4 L# W  A: b齐
后 的 人脸位置
，
且脸部 及肩 部
、
上半身 等部 分都具有 统
一
的 分 割与合成 效果
。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
. b+ ?) ]1 s5 Z; Y1 C5 z，
8 I  n5 g! O- w" ^) F! s9 N& n可以 实 现人脸 图 像 的标准
+ Y; ]: L& x3 e% V. z" O化
，
  Q* B$ K& N% @* m+ b5 D) n同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
7 O1 R$ Z5 h# |+ f5 x4 E该 算法可以 作为人脸
识
: f& T) T  \# n& H别 后 的 处 理步骤
3 R, G; }% g0 C: G, H" `，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
致的 图 像模式和对 齐
+ _/ A; e7 k% D后 的人脸特征 区 域
, H1 ^! S! u6 K& b* ?8 `3 m. X, D，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
现
有 人脸识 别 与分割 算法的 效 果
& i, ?- W3 e; I2 j1 f, P1 B% [* q$ ^。
% s! E# v9 G+ q# i4 `  M* ^  \9 Z３ 、
最 后本 文提 出 了
$ N$ {2 d3 }; Q) y7 N一
种 针对人脸 图像进行优化 的 超分辨算 法
7 R7 N2 q; M: N  x2 U，
- Q( i; k) ^- L3 g) J+ z相 比 于现有
7 S) p6 k* _% g" n# w/ A) \+ s9 ?的 图 像超分辨算法
( ?, m+ K# u5 Z1 y1 U，
该算 法在图 像 的超分辨合成过程中
2 A) c: d5 }" L7 [6 K. N$ s/ n/ _，
在关注合成 图像的 质 量
. g! G' d& x( u: l4 d4 dＩ摘 要
) [7 e, j8 M& o, L, G: S" [) B和更加 细致 自 然细 节 的 同 时
，
7 a3 k; f* \( M7 v8 w更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
的
人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
，
可
8 Q" d' [3 o4 L7 \' j以
; o& }  k3 y5 w  [# V! ]/ M6 \实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
' _5 g( E. ~% d4 ^9 K将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
9 O; J6 B% @& @$ d" {) p- i3 U, ~3 T，
同 时算 法具有很好的适应性 和 鲁棒 性
) S$ [( {6 g0 B# U) c4 G. a: L: i，
对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
1 K; J  r# X. x  [。
该 算法采用 了
; \: X# c$ {: j1 I1 C一
种 端 到 端的 灵
9 |/ a( v7 q) Z6 G" w) h活
的层叠式结构
0 X. ?0 M) g1 D0 I/ F2 I6 h0 c9 @，
/ k  P* e  h. M可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
2 C# e* i, T8 G8 c4 U' \４ 、
9 o" ?6 |! R1 A' F, O本 文在人 脸合成 图像的 对 比过程中
; d! |9 D' u% N& X' U5 e，
7 s% _* V. B# d. Y提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
6 M# M1 `) J# ?2 F! Jｏｎ
( L5 ^' P" X; h+ X  OＤ
; O& ^. v  V+ Lｉ ｓ ｔａｎｃｅ ）
代替 以往 的
. y( e5 l4 I4 CＰＳＮＲ
（ Ｐｅａｋ
Ｓ
7 `2 Q- z) `1 C; H! qｉ
ｇｎａ
ｌ
6 |1 J  ^2 F4 h  q－
ｔｏ
+ a' U# z, i& G0 `3 G－
Ｎｏ
1 x8 F) _( f+ `3 z3 t7 ?ｉ ｓｅ Ｒａｔｉ
ｏ
）
2 `& {$ }; @. O9 l和
Ｓ ＳＩ
  Z9 V# ~- x: P* z% TＭ
1 F' [" o8 \1 K( |7 y  @2 M- l4 O' }$ s（ ｓｔｒｕｃｔｕｒａ
- W% m, z/ [: c0 z% U2 m8 Mｌ ｓｉ
  E) I6 j5 ~! U/ `; o/ h7 hｍ
  g. K# @; Q1 Z; m* V. k－
ｉ ｌ
' j2 |9 X2 B* X! \4 K/ B3 I$ Qａｒｉ ｔｙ
ｉ
' G$ }' s9 \7 \0 b9 k7 C4 Zｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
& L5 z% B& l  I+ yＤ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
。
5 U1 ?4 g. z: d$ D& S* I6 b5 A" xＰ ＳＮＲ 和
1 S, |7 B, d( D5 \* L" T" ZＳＳＩ
8 G: i2 G& T6 \% W9 h0 v" ]& OＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
( o7 W3 N. T+ ], [4 O0 _细节质量等局部信 息
, o; P1 I" S# e+ p: P。
通
过
三者 的结合
，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
: b9 T' \) Q6 y同时 评价
1 ?5 [/ x# z7 i+ o! L合
% u4 K( J9 w8 y9 f% e成后 的 图像 与 输入 图 像相 比
' o8 S5 P, T! o4 K0 E，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
: L' }2 [  ?8 H3 e. B' F$ W

4 U. \1 m- O. b  Z7 S. ?( p* F5 D( d
4 P, N) F/ S: `# L
9 b6 W/ n( _# A4 W7 ]; C1 F