用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

5 m" _3 C7 `1 R5 v, X+ j. ^随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
2 L/ G! w0 T; |，
4 K5 }1 Z/ p$ _( a4 }) }' L% P" b尤 其是 基 于通用 图
8 r( e  ~( D4 P- C- d) B, h1 L形
6 S, f) v8 x8 {, R) x+ T1 g处理器 的并行计算技 术的快速发展
，
; v  S1 u1 |# |6 t机器学习 领域获得 了 快速的进 步
: h6 A" C" ^1 Q$ q& w, R4 O2 ]。
随着 基于
! R  v1 F+ H' b' d7 ^& ]) P2 C卷 积神 经网 络的深度 学 习 方法的 出 现
5 @. L7 x2 j9 K7 B，
+ S1 ^1 r; a; D9 s．
' `9 s/ D( b  E! @; \+ e1 N传 统 的基于 数学 模型 的机器学 习 算 法在
7 @) K, V6 U2 w很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
& z1 E- ?: Z* S: U, v，
尤 其是 ２ ０ １ ６
% N: O( {0 j) H0 k7 }% b# e% j) |年 以来
. I! n6 F/ M2 F; t9 |' \5 \# C，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
7 B5 H  D9 d/ x: N) \6 @. A! I8 A，
) [) G$ b1 s: V, A图像增强 和 图像分 割等
领域之外
，
还实现了 基于 先验知识 的 图 像合成
" N3 L* k0 K+ W，
8 s% F/ Q3 F) e* k9 M. d* t8 n但 图像合成过程中 仍存在算法
结
% e( v. ]/ U8 o" \果不 容 易 收 敛
，
计算量大
，
优化速度慢
# y8 T% w# e$ E6 H5 i  u! g，
图 像劣化 等 问 题
, w7 ^$ H) K9 A: S/ w+ k。
针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
) m; Q% B! ~. L( d8 h* s% B节还 原度
，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
- u0 `1 H) y( p: s/ y, D0 }一
致性等方面
，
7 g2 Y9 e: w$ d( X仍需进
一
步 研 究和解决
$ Q" f6 H# o- e; n。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
; j; y, \8 R0 m$ f，
将合 成过程分
成
了
３
& K3 |" ^* U9 x) [& R4 i. r个 阶段
% b6 F+ K% u1 R+ `& m/ @1 J$ |2 K: i，
首先 是 图 像中 目 标主体 的分割
，
7 v& a7 \- V- h" q1 s3 f其次是 人脸图 像的合成
，
最后 是 图
" ~0 ?+ d) s( r) o  h像的 超分辨和 画质 增强
4 ?  k9 O& X* m# p: D1 V，
实现 了 人 脸 图像生成算法的 识 别
，
# E# y. N, y& a# E1 T# d7 H分离
& J7 n) `7 |, I! H，
2 @  f* H4 r- |4 T2 k; R1 N合成和 画 质 改
善 的 全过程
。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
: B! _+ f  g5 T+ h& \, U，
% r3 @& T: c$ m3 w+ w2 n; K本文 主要解决
了
3 U5 }: C8 J/ F) l. M8 a0 P人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
" O! q9 d2 d9 u; W8 ^' `主要
' d$ R* @6 R" s1 \$ g  L( w4 I9 k" J工
# X/ T# ~% S$ r! ?作 内 容和 创新点 包括
2 J3 f. O) w8 f1 l9 m; t0 H：
8 k. r' H' \, a6 g: P2 r１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
一
( I! r' Z* b4 y  [种快速图 像分割
算法
4 `3 F$ _, l. ^1 G% Z4 y# C，
该 算 法通过逐层 二分法
) V! P4 d0 K; n+ Y( `9 e- l一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
9 M$ y. ~1 v: h7 V3 y- M同 时 由 分割 区 域得 到相 应 的 目 标轮廓
: R5 ?( w7 p: b/ C( V。
, z2 V& Y6 f  {# g6 j该算 法不同 于传统方法的 先 由 轮廓得
到
连续的 边界
，
再得 到分割 区 域的 做 法
0 Q: E7 _8 M! g' z' P，
而 是 直接基于 颜色 统计信 息和像素分 布
' D5 _6 }. M: T的
形态学特征进行 目 标 区域 的划 分
. U+ U4 m7 g, e! g& k4 Y; m1 A，
$ `; f+ R& q( H/ \& z- |减少 了 边缘分 析的计算时 间
- Z, U9 X/ Z& Z, W% x，
且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
，
9 s, Z8 G0 l9 F# r具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
、
缺失部分 补
全
等步 骤
，
; c7 z. |% ~0 v3 c# e基于 生成对抗网 络进行标准人 像 的合成
- K" R  j: B3 Y+ @3 g7 e，
合 成后 的 图像具有 特征点对
) x* E( F0 j# p6 T& ~齐
后 的 人脸位置
$ k2 |' C/ d* o$ }( W4 b* P7 X，
且脸部 及肩 部
、
  j- F' r% G- f7 t8 C上半身 等部 分都具有 统
# z4 g, W1 n; A- J一
的 分 割与合成 效果
* p& {3 w; Y' ]9 G5 A- O  k。
: v6 J! d& V9 y* w. }该
7 c- n2 K! A3 t8 U& F方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
/ ]- D0 E' t* h8 q# j2 y% c: u; E, L，
* f' _& y8 d/ z( G- r/ W$ c$ S可以 实 现人脸 图 像 的标准
  r# ~% a" z0 {3 ?( z/ z- Z化
/ v* ]# s9 H* Q4 H1 x! D" t，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
4 g. n1 m5 Q& K7 T. i( D。
该 算法可以 作为人脸
识
别 后 的 处 理步骤
! x% P( |& y; a' W，
6 Z: o5 L- O6 p9 a7 e处理后 的 人脸图 像 相 比 原 图 像具 有更
一
致的 图 像模式和对 齐
后 的人脸特征 区 域
& N  \; V1 w% C' k- ?3 N8 V，
7 x, i* D1 w8 d同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
; ?( v: ~1 `+ \! c' _3 J7 `0 B- R有效改 善
现
. |7 q( R& `/ v. A' |8 `  n& m  A有 人脸识 别 与分割 算法的 效 果
。
  ~4 \8 X( ^2 n- o3 {. j  ~: O３ 、
最 后本 文提 出 了
) @9 P5 A/ O9 b' o/ H一
种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
# Z5 u, O& }: f# `8 o6 E+ Q的 图 像超分辨算法
, P. j7 C9 r" }  B# W7 D9 A4 D，
+ M0 p9 L8 Q, s0 e  v7 G2 _该算 法在图 像 的超分辨合成过程中
( p3 `: w1 Q  r6 h2 A" F" Z# Z，
在关注合成 图像的 质 量
7 {( S7 J. I5 j+ u: eＩ摘 要
和更加 细致 自 然细 节 的 同 时
% p0 N0 Z; f0 c3 D) }7 ~, J( h，
6 Q* d7 A5 V& u0 T更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
8 E% g3 ~; M, r$ o致
的
人脸身 份信 息
。
1 z; m4 W" r6 Z! `0 a9 l" M' I算法通过引 入 生成对抗 网络和残差 网 络
2 }0 b' b1 L! B4 Z3 N，
实现 了 上 述 目 标
( F" D0 y% |% T2 ]6 J( L; U，
) @8 C. ^% z6 Q% y5 g- h可
0 P* R; c4 b5 y1 {以
实 现图像 的 ４ 倍甚至 ８
/ V$ v  U- r; b& i  ?  w倍的 放大
$ t4 u: `1 Z, \: Q，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
9 K+ r5 s9 F0 D8 F  C) B2 ]人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
$ b; E2 d1 N5 I3 O$ u库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
9 x8 H3 n+ q* m% k0 Q! y. T。
该 算法采用 了
' U' M9 ?' g* ~4 }% w# E2 w一
种 端 到 端的 灵
活
的层叠式结构
，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
1 `% k* }5 L2 z9 [2 V3 U４ 、
本 文在人 脸合成 图像的 对 比过程中
，
. S5 n7 D1 m  a" m; v3 @4 [提 出 了 使用 Ｆ Ｉ
# ~9 a) K1 ^, s8 M8 n$ U4 GＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
Ｄ
) U1 x& u. c( M- r2 @ｉ ｓ ｔａｎｃｅ ）
9 a* U# u" ~0 Q+ q0 |, \% D代替 以往 的
  e! |1 L% \8 _ＰＳＮＲ
（ Ｐｅａｋ
Ｓ
ｉ
* y; G+ _6 O6 c, T. s4 r1 ]0 Eｇｎａ
ｌ
9 \/ N% B* `% [$ M5 C2 ]- N. {- E" {－
ｔｏ
, `1 S- ?5 O! [6 \7 w7 X; l－
6 C& F& n( {# rＮｏ
ｉ ｓｅ Ｒａｔｉ
& I2 h" _/ U7 S: e) Jｏ
4 D- {0 }# r  a* ^）
和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
. d+ U8 k- ?+ w# a" E/ ~# Pｌ ｓｉ
9 j! m" K- K7 h" o: w* _, B: d+ Dｍ
, `+ c+ f7 f; T' Y* Z+ O－
0 B) {0 I1 U2 P2 B4 u8 hｉ ｌ
ａｒｉ ｔｙ
ｉ
! D) D1 o2 ]/ n9 ^" Z3 {- ]ｎｄｅｘ ）
: l& P" ~+ Y" ]6 @参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
3 A/ ?: o5 t( @. W7 o，
! {0 t3 `4 l3 o; ?  \9 \因 为 ＦＩ
Ｄ 值能
2 Z. X1 H3 r0 Z" j2 k够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
( Q) s4 S2 |5 r, x! y同 时通过全局 特征 信 息 的统
. C. b/ y& y8 J% u7 a' l0 h计得到 图像整 体的合 成效果 与 原图像的对 比
。
) g% @# d/ f6 nＰ ＳＮＲ 和
  l3 E  c+ M# N& g$ a0 [ＳＳＩ
0 q8 J* j0 j2 n6 b- v) z2 G& jＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
。
  H) E, v" b& p* H" p7 }. T; r2 \: b通
过
4 |& W7 ~, @+ O7 V, ~5 W! w三者 的结合
4 O# s; i- o1 m" N0 o9 w9 H" G，
) V8 G: {# L% {9 `* U% i) L可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
( |+ c: F6 @- R  @，
同时 评价
合
成后 的 图像 与 输入 图 像相 比
5 h4 U2 \; q- h9 |) s，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留



5 R; P6 t) _1 X0 p3 W4 b
, ]4 R- g/ O) |3 Z5 ^
' H+ \( g& U1 {' M$ t! H