用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
+ f& E1 {% @' j. V. Y1 W处理器 的并行计算技 术的快速发展
，
$ T6 g: w/ F* ?* n机器学习 领域获得 了 快速的进 步
。
随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
1 w  }) Q+ i# J5 Y，
．
6 |. ^' G8 ?* s6 X' b传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
8 g2 x+ q# g8 u# ^" d，
6 m" |* [! g3 G4 D8 @尤 其是 ２ ０ １ ６
# t5 @" m  \, d9 b$ s1 u年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
，
  G$ i0 ]2 h* t* W; l& R& G图像增强 和 图像分 割等
% d. O. o, _/ ~& D  C, g: n/ T4 R领域之外
，
还实现了 基于 先验知识 的 图 像合成
，
但 图像合成过程中 仍存在算法
/ d& f! V6 N& x- W' F5 M; r结
! P' X0 Y% @# |$ c0 m' a. j果不 容 易 收 敛
; E8 Y7 R1 u5 _4 `* |，
4 j* v5 y( v; o) q计算量大
，
优化速度慢
，
* S" }. c2 h4 F图 像劣化 等 问 题
7 w$ k" T: G! _* D8 l$ i. h6 U8 O  k。
针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
，
1 i$ T) R7 ]0 L3 r而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
  x- w8 H$ Y0 w# Z5 R- \, ?6 r一
: E3 R  ^+ r% b; l# Q3 d致性等方面
+ C% y! n* c8 s4 x3 `; L! l，
仍需进
一
; C; I- h$ u& f4 X% z步 研 究和解决
1 r* [# S* u5 u% e" a  C& f; z。
" U5 r* L# Y# Q1 N6 Z本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
% H9 l/ U0 K( M3 L6 K0 E  D0 b将合 成过程分
3 p; ~9 s" W( A4 {# y成
了
4 N7 K$ @, s2 Z/ r# \# u３
/ q0 O/ a" g. G8 D9 M4 F2 H个 阶段
* e2 J( _: [# W，
7 O6 F$ u8 z  b' z7 _1 Q0 ?3 d首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
  c$ j; \$ m: ]. K- L，
& g; z* n  n! D% o( g& A! a& L最后 是 图
像的 超分辨和 画质 增强
& O! J( s. P# v% Z6 r3 b，
实现 了 人 脸 图像生成算法的 识 别
" [9 h8 r3 T8 r: p( b2 U; J，
分离
，
合成和 画 质 改
# P' J9 H& H. i* `8 B善 的 全过程
。
" _$ N% |8 Z, h( c5 N* J- s针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
% p3 q1 q5 v/ c) B; g了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
) o5 h  [$ H+ v2 y# K' v主要
+ I! V- D9 G6 m8 @: E& ]工
4 E( ]' `0 `8 C/ |! x& n作 内 容和 创新点 包括
：
１ 、
9 C  G# {, U9 Z+ l$ d基于颜色统计信 息的 高斯混合模 型分类算法
5 }. L2 I# D4 X7 {- O: i$ n2 z，
设计 了
# L5 c" X" O: U. S5 s- ?2 \# r$ j% ?一
' i. [0 i# j' I+ N$ C种快速图 像分割
算法
3 }. ?; g1 b1 p! i- l，
  v1 ]  y! T: U* M4 u' a; _该 算 法通过逐层 二分法
一
7 a+ u1 F1 k& ?) S" h- ?次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
: F- l5 S6 Z0 G，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
% ^0 X, i4 l& B9 w0 l8 M。
该算 法不同 于传统方法的 先 由 轮廓得
# N# K0 I% \! i2 Q5 ^6 d8 ^' C到
连续的 边界
5 s" {5 `2 ?1 k0 U5 L) s* }5 S) c, W，
再得 到分割 区 域的 做 法
8 c+ {( B6 i  w: G. q，
而 是 直接基于 颜色 统计信 息和像素分 布
的
1 w6 U) B" Z" c形态学特征进行 目 标 区域 的划 分
，
1 F5 k/ |4 [3 z& j6 U减少 了 边缘分 析的计算时 间
# G1 j/ V- G  z. U9 [# E，
& B$ Y- D2 T9 q9 l且对 目 标 区 域
) E  |* O' h/ d1 S进
行分 割 的同 时 即 可得到相 应 的 区域边界
2 d. j1 I# P: I2 r- ]. H8 a，
具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
1 f' ]. A+ F6 P0 W; I* @2 ~经过背景 虚化
4 v  z" h* X2 l  ~( o& C、
5 R$ v- j% J8 `2 m9 l& f缺失部分 补
( D. a0 }: _3 ~& q全
: M0 Q5 h- g/ S; t4 W" D, \& l1 f等步 骤
; I8 u2 I, h% |. ^4 k. y9 D，
基于 生成对抗网 络进行标准人 像 的合成
& r: w% s: p* R( s* I# @# k9 d，
合 成后 的 图像具有 特征点对
齐
+ u/ E" c1 P% L# q后 的 人脸位置
，
且脸部 及肩 部
' i4 ^/ y9 L+ k7 T0 C! q5 ]- @、
上半身 等部 分都具有 统
一
& G7 f/ i* B0 z; c$ J% Q的 分 割与合成 效果
! n! R/ D* ?; N/ [。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
9 Q9 ]% h( C1 N) V2 E，
可以 实 现人脸 图 像 的标准
化
! [$ G" @9 `# a: J，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
该 算法可以 作为人脸
9 a7 m3 N+ G0 O. g7 u识
别 后 的 处 理步骤
，
处理后 的 人脸图 像 相 比 原 图 像具 有更
2 b7 d  E+ H$ G' w一
致的 图 像模式和对 齐
0 a8 U( r) D  v后 的人脸特征 区 域
，
) L. p5 U0 u% v3 m# [同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
# `; d2 Q9 m4 p+ ?8 }，
有效改 善
现
/ I* b) U4 [7 _: Y有 人脸识 别 与分割 算法的 效 果
) Q* s6 v0 K! c9 t。
３ 、
, m$ O1 v% R+ M9 z最 后本 文提 出 了
一
9 K3 s+ q7 U# K& T种 针对人脸 图像进行优化 的 超分辨算 法
，
5 b. k4 l& W0 `+ Q# J6 U1 ]9 ^. ^相 比 于现有
# K1 o! E) t5 o' b8 e的 图 像超分辨算法
，
# ~9 O0 R: r" c4 a# l5 p) [. q该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
" l6 D* p, W- i: _+ S2 FＩ摘 要
和更加 细致 自 然细 节 的 同 时
( o$ c( ~" F6 \" C. ~' V  u，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
5 V9 f) G+ G- m9 g* N致
% F8 R* D6 t6 ]! v! i1 c的
人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
) E; i/ B1 J! I, W，
实现 了 上 述 目 标
5 \! }+ {6 V2 K! u，
可
& K7 A1 f, I3 ?; h以
' J% J6 l6 r3 D# a: O" x实 现图像 的 ４ 倍甚至 ８
' ^6 E' G8 x- i7 o: W; `- h倍的 放大
/ G+ H( G0 t0 a$ q，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
0 w$ u6 }0 O, r+ ?+ u6 I7 L人脸信 息 的 高分辨率图像
，
, g, b" D" R  o. ?( ^同 时算 法具有很好的适应性 和 鲁棒 性
" M# Z6 x4 z8 D; D. A，
对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
+ K( T( u3 r& ?& j% X: ]该 算法采用 了
7 I3 [" f0 h- ~$ K4 w一
种 端 到 端的 灵
/ p+ m- R- H6 F0 z* ?% o活
的层叠式结构
. r) ?% s" i4 b% f. r: ]5 B，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
４ 、
- m6 b- r4 N: y. _( Y1 s0 n本 文在人 脸合成 图像的 对 比过程中
, g% B% q1 i+ M: t, z: U4 j，
: o  y5 `7 `% s$ ]* A" ?! [: T- X提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
8 I2 p- |0 e; n0 q: r! M& oｏｎ
- y4 {/ h( N; i& c' V! G+ [# KＤ
; L% H  t: \3 W( w; ~! j2 N2 sｉ ｓ ｔａｎｃｅ ）
0 a. g5 o: r% O代替 以往 的
' k3 ?: \7 e" [0 q# ]& aＰＳＮＲ
' e9 W/ r' C. @# o- ?9 }0 v2 l' a（ Ｐｅａｋ
Ｓ
! b9 C, P3 Q; q3 vｉ
ｇｎａ
ｌ
－
ｔｏ
－
Ｎｏ
' X8 c8 L2 r/ k8 t) g  J, cｉ ｓｅ Ｒａｔｉ
ｏ
" p4 P2 D/ [+ q）
7 ^; N% l5 Z) y和
Ｓ ＳＩ
2 f1 e; L& L; sＭ
; g' ^8 R( h9 T1 Y+ l5 w（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
9 U5 m: h' Y2 B9 z% xｍ
6 m" [% \0 L. ^4 s1 S& T2 ~－
ｉ ｌ
ａｒｉ ｔｙ
0 n7 [0 Z" O# D9 _/ hｉ
ｎｄｅｘ ）
. d# V1 h$ B  O; M$ j' G7 {9 U' L参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
4 T9 s9 F6 X. _" T8 a; }. q6 E; y，
1 I4 P6 V; _! Y8 r% L* Q  Q* ?因 为 ＦＩ
7 @+ N% G- o0 O2 I: t  s1 WＤ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
$ T8 `4 O, w4 ]! b2 y，
) @! I7 ]. u8 V. L. B6 Q! e同 时通过全局 特征 信 息 的统
9 x; N' s: E0 s计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
ＳＳＩ
" e" N/ k/ w6 |- sＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
! N: @) d% z2 L5 [。
6 Y6 N% I  ^' k/ x通
过
, O' ^7 ^! G- g6 Z, w8 t三者 的结合
6 ~! O1 V8 j# X( _6 G，
9 p& Y% M7 t  r* Q1 h+ r7 r$ W可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
1 W0 q0 S9 D% @  f: e! F，
同时 评价
5 {6 V7 @/ L. k$ F合
成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
1 X2 y: m8 x& e, @0 U* d5 d% u, v
' H" M# ?/ e! X8 }3 A) M
: U3 ~! H! R5 \  q+ {5 q" V# q: B, w
0 }& |/ ]3 f- ~/ {
) D1 l" e0 `7 u7 v  @6 K
6 ]1 V3 e# w: Q  e- e8 P- ?9 F