用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

* G' P4 P7 u7 t5 N随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
! L+ A0 C/ ~1 Y$ t  x& {8 `处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
2 j3 f3 J0 y* E; g- C. j- n。
% \3 x) P& J2 _& W* p4 }随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
8 ~! x3 s$ Z: z$ ~' B  `．
0 D- D* j1 I; a" ?传 统 的基于 数学 模型 的机器学 习 算 法在
/ w. ]& P/ C# a! v; O很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
尤 其是 ２ ０ １ ６
年 以来
2 {! G1 w! B0 Y" @4 l，
& P# u. P+ m* E/ t& W. r" F8 _( T基于 生成对 抗网 络的 图像处理方法
，
. K2 B9 [, f1 x- R5 v; @' n6 e# c在传 统 的 图像识别
) t, P9 t5 P9 W* q! ?，
图像增强 和 图像分 割等
  ]0 W& l+ A: h3 ~+ p3 I领域之外
: B* t# J6 M3 ]7 T' z' y，
% `+ A2 E5 w) c* B+ S& W还实现了 基于 先验知识 的 图 像合成
3 N7 d7 C, [, M( ?，
" Y" x, ?! U6 I但 图像合成过程中 仍存在算法
1 q. `5 |& h3 m" y' i结
3 B. h/ W3 D9 d) f( F果不 容 易 收 敛
- M5 P* ?& {8 P0 r" ]: y5 T，
计算量大
，
优化速度慢
& u% z( z; ]! w1 `! P，
2 `( \1 c4 d1 V图 像劣化 等 问 题
。
) y( Y  N% k% l8 ^针对人脸 合成 图 像
7 F; U: u4 F  M0 m' R4 H, O，
2 |9 q0 O* C1 `  H' H5 @# b已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
% p" h: ~' k0 s* a6 t" i节还 原度
! I$ p1 u; s. G7 Y，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
( |- I3 [  A  V0 _& }，
仍需进
- u6 B: t6 e, Q  u4 ?一
步 研 究和解决
6 A) D4 D' I6 d% J* k。
& d$ m4 H  D3 z" X. V2 j6 y本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
* b& {* ^- S0 ~: M4 K) Y，
0 Y0 h/ V2 @/ ]) f将合 成过程分
5 K* U) M9 e" {) T2 i5 H5 W( F成
了
7 v/ u2 u9 R& Q, q* p8 n３
个 阶段
& H$ z6 `6 Y9 R/ f，
* v2 t. h4 d/ i) a首先 是 图 像中 目 标主体 的分割
8 m0 ~2 N9 V6 P, v/ x& P) [，
: l0 Z  u) C# z5 w( h8 P, z其次是 人脸图 像的合成
，
最后 是 图
4 |9 n. d' _' f5 G5 H像的 超分辨和 画质 增强
，
% Y0 G8 y1 I! [实现 了 人 脸 图像生成算法的 识 别
8 k$ T0 U/ I. |& I& ?7 O% R，
3 D: a+ x8 y! A8 E分离
，
合成和 画 质 改
善 的 全过程
。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
$ r9 {1 T: d4 @" t8 H" f; E4 S" A. |，
本文 主要解决
了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
4 w2 p) F$ @. Y4 V/ D; C0 r主要
工
3 S0 G1 {& ~" _# {1 r作 内 容和 创新点 包括
/ `! @" L$ R' X  a：
１ 、
9 C5 O# _: Y$ n" H基于颜色统计信 息的 高斯混合模 型分类算法
; ~" _: v" U  {2 W; B，
6 t' `1 u7 y1 ^, I设计 了
一
; o3 [0 m1 \3 y! [种快速图 像分割
- q! Z% L" D% A6 B/ q) G算法
，
3 ?7 T+ C9 `' d; I# M2 j该 算 法通过逐层 二分法
/ K7 q3 \! J- F) O一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
3 @  u- Z" n& [8 M' O同 时 由 分割 区 域得 到相 应 的 目 标轮廓
6 J. P$ g9 C% }% E; X3 z。
5 M- \# j2 d+ V该算 法不同 于传统方法的 先 由 轮廓得
% s9 k. z9 @. z9 ]1 i  W) W9 W到
; }9 K2 U7 Y& k7 Q连续的 边界
2 `6 v' ?3 N# u6 x# A7 ?+ b/ u，
再得 到分割 区 域的 做 法
，
" y/ @; ^! F0 B6 D" b( R* [3 m. I而 是 直接基于 颜色 统计信 息和像素分 布
- V. c- i& @1 H  ?( q的
形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
% c# F/ Q5 o. o! }/ P) e! k，
且对 目 标 区 域
进
4 J' Y+ \6 d/ D5 S# @行分 割 的同 时 即 可得到相 应 的 区域边界
7 Y2 V7 U6 d3 E5 f/ U& w，
具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
- m$ Q  x; c* [+ T) E( e& `、
缺失部分 补
全
等步 骤
，
0 q% F8 g: I* v4 u' ]基于 生成对抗网 络进行标准人 像 的合成
' O- ^. k8 t9 `9 Z( V8 w，
* U' N+ D2 f" r5 b0 X" [$ ^4 b合 成后 的 图像具有 特征点对
齐
) U1 N, g# a1 j5 m- F5 K( S! b8 c后 的 人脸位置
，
& G0 m9 [0 h, H+ r且脸部 及肩 部
) E  U% l5 @' g1 w、
1 j8 p( l- q2 S& L2 o上半身 等部 分都具有 统
一
0 g4 g+ Q; t# [的 分 割与合成 效果
。
该
: O: U/ ^$ S" W4 s& |方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
' _: j4 Y- k5 x. F2 k，
5 v; K$ g/ j1 T! ^. i( }, M可以 实 现人脸 图 像 的标准
$ V( P% j+ Z) i( Z( B& H3 O) c+ w化
7 [6 Y, w7 T: M- l，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
& \# y* L' Y  k2 ?该 算法可以 作为人脸
识
别 后 的 处 理步骤
0 D0 I/ b( _- S9 p& [2 `，
- n+ l2 D6 e0 D* @3 w* M处理后 的 人脸图 像 相 比 原 图 像具 有更
9 _1 U: H% F  l' {; F一
致的 图 像模式和对 齐
后 的人脸特征 区 域
，
; Q" y# R" @8 N: v& ]- ]4 a! w同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
- d( L. c, }6 u7 F，
有效改 善
3 B0 A3 k) L( B5 B现
有 人脸识 别 与分割 算法的 效 果
。
5 ?$ r' a* l  i, m$ D  {0 a- ~３ 、
- {2 \1 c% F) l1 U; f% ?最 后本 文提 出 了
一
种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
3 Z$ r! r" U8 Y: D- U6 r2 K的 图 像超分辨算法
' Y4 B2 w& K9 x7 }，
$ B: t- C/ Q0 O$ r: s该算 法在图 像 的超分辨合成过程中
! `4 L) c) v+ z7 ~) d9 u6 B7 h，
在关注合成 图像的 质 量
" c- `3 z+ u) x7 hＩ摘 要
$ `8 N! [3 A+ m0 A% |和更加 细致 自 然细 节 的 同 时
，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
8 Y) l1 g6 k4 N+ l! i8 W一
致
$ b5 @4 _% C% W1 Q, Y" D8 g的
9 K% _3 W4 u6 E  s; @! U1 l9 P人脸身 份信 息
。
; p2 F4 j9 l) u算法通过引 入 生成对抗 网络和残差 网 络
% [# o- U" o1 {( |$ o) G，
0 b5 W# Y% L8 W2 e  M( m% m实现 了 上 述 目 标
，
6 G' f9 P6 o5 ~; B可
9 P, @( [3 g2 a' z, a6 n以
* m% W" N+ z" o. J1 \  M) t实 现图像 的 ４ 倍甚至 ８
1 z4 N/ @! C" F5 w" k3 `' ]倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
% P  a6 Y. w  o# P+ d人脸信 息 的 高分辨率图像
5 ]: P. p* K$ @8 l, d5 H，
同 时算 法具有很好的适应性 和 鲁棒 性
# m2 @( u- z3 P3 d  @，
4 b; B, }% g; j对于 不 同数 据
; T: K8 f' t( @$ m库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
) ]! U4 A% _/ [- W  v8 u! D# s$ k。
该 算法采用 了
! O$ w. o; A7 u4 i$ {* }8 j一
  j- \6 }+ Y' z) s+ D& G种 端 到 端的 灵
  j  M4 G- o6 x9 ^& ?活
9 Z5 w  E" h( p& x+ k/ x) F的层叠式结构
6 i. z9 u1 ^, @& ?/ ^，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
- O5 e# g0 z! ?$ D  o。
, |% a9 P) p1 K6 G8 x% c+ Q( e- a) Z４ 、
5 j8 d* e  Q# \本 文在人 脸合成 图像的 对 比过程中
& }9 {# M7 Y" W+ _4 s5 U# J$ H，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
7 }$ V9 r$ G" w3 rｏｎ
' L  p" E6 d  ]: jＤ
ｉ ｓ ｔａｎｃｅ ）
' @% H. d' z  {1 [* Z; S代替 以往 的
ＰＳＮＲ
2 {4 C$ b& \0 Y3 d; a9 g（ Ｐｅａｋ
+ l; x. ~, i/ a, V$ mＳ
$ O4 q$ X3 u/ ?3 `' [. iｉ
ｇｎａ
ｌ
－
ｔｏ
3 ]; {' A" K. y6 i9 j6 I5 O3 q" J0 T－
Ｎｏ
/ z& O/ t0 B, O0 {7 C1 [ｉ ｓｅ Ｒａｔｉ
ｏ
）
9 r: b4 T5 D1 l1 E和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
9 S/ L6 W; I8 F: j－
ｉ ｌ
ａｒｉ ｔｙ
2 E& ~# e6 D; m, Dｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
% M; F+ r& Q( A+ R，
因 为 ＦＩ
6 A0 t' d* u, \Ｄ 值能
, [/ i: L( {* z, O5 W够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
: i2 n5 _: X$ H1 I! {7 C同 时通过全局 特征 信 息 的统
1 g! C! g) w' r* _. ]( L计得到 图像整 体的合 成效果 与 原图像的对 比
. Z" S0 c% m1 V2 G% t, P( W; H  Y。
Ｐ ＳＮＲ 和
ＳＳＩ
Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
! @6 O! t4 Z$ t- y，
# j: R6 M; p( M细节质量等局部信 息
. N$ i( L! K9 i% Q* s。
; |: Z7 L. K3 ]! @通
" }( f- @8 u" [+ Y9 }( S过
' o: |0 [# k: [- s三者 的结合
2 t1 P6 [$ m) ]5 j，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
& F- [/ I- `6 }6 r( B/ P，
3 M! k, O- n( M8 i, |' O同时 评价
' n( k& v! H' o. J" W* o! U合
成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
4 }& X: ^% W6 l% J* y4 @) A



, X$ c9 g7 V; U+ V