用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
4 a" t5 U8 h6 y3 K: K7 n, p
: n! u4 t& z. U! a随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
1 X  a2 e1 p4 x/ f8 q' W! H形
+ g1 y4 m. m' s& {3 w" A- N0 }处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
。
( |' V; |8 O+ `& Z随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
．
: E# J3 q7 Y% d: _9 Y传 统 的基于 数学 模型 的机器学 习 算 法在
" o* N0 P2 P# s$ b& J' y很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
, ]' o' i% e1 f/ }" V( {* }尤 其是 ２ ０ １ ６
! k- e5 r5 A8 s1 a年 以来
4 U. B9 |' u' Z# F. Y，
基于 生成对 抗网 络的 图像处理方法
，
2 _  F, ^2 P6 k! o' f) D+ y在传 统 的 图像识别
，
图像增强 和 图像分 割等
领域之外
，
还实现了 基于 先验知识 的 图 像合成
, \9 \7 S& d/ e9 J& [# R: i，
但 图像合成过程中 仍存在算法
' h% f2 p; k, L# g" T! `  `结
果不 容 易 收 敛
2 X" r. G' c1 Z2 P，
& P1 }! ^4 u: r6 s+ K计算量大
' R7 J6 L% b( u; ?( Q; g; M，
! w# {# b& g3 O优化速度慢
，
; ~& f% \( M6 H- l+ M1 I' f图 像劣化 等 问 题
。
针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
/ I! i+ l, r8 L/ S* X节还 原度
，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
，
仍需进
一
. N. k3 X( Y% B2 v4 ^步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
0 O& W: U' x, B2 F% {7 G2 o4 x成
了
３
个 阶段
( b2 B7 J  N) Z$ x，
* A# V, r" r! u2 u8 t/ y首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
* l; A1 T' _+ K2 E$ T，
最后 是 图
- V8 L- b9 q# ^+ A4 d像的 超分辨和 画质 增强
8 f9 C3 U" E$ u8 {. G" z，
$ g- j  K: |& C* q3 M5 A实现 了 人 脸 图像生成算法的 识 别
，
8 {. p$ \& C! U5 Z分离
，
) E. i0 J& S, p5 W* d% w合成和 画 质 改
0 w$ d* q) B& r8 b9 ]  h6 g0 j6 V善 的 全过程
; q8 Y' f2 `0 `9 Y* q/ z。
1 ^' L2 f0 f9 p1 k* T6 V针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
2 G. u/ T) ]. B2 |# U) D2 B6 l本文 主要解决
: ~# y5 R$ F2 ?* n了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
1 I* p% P* s# F# M. V7 w主要
- T1 p2 v8 h3 R' k0 w工
9 R0 A! U- A2 x2 X# K作 内 容和 创新点 包括
：
１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
' n/ Z' ^' t8 d，
9 r* _7 x- N0 K2 T% Y: v4 z设计 了
9 d5 @3 |! F1 \! V5 l  B0 H一
种快速图 像分割
算法
4 Q1 o; O2 p, e6 `，
该 算 法通过逐层 二分法
一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
" Y' V! H! h: _8 ]，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
( n, v/ ]) t" q$ E( D' g。
该算 法不同 于传统方法的 先 由 轮廓得
/ J. ^% J  V8 g到
3 x; Q, e5 z) z/ N. m连续的 边界
* h5 b5 ~: P7 a3 ]2 ?/ d  a( A: j，
再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
; h5 |  ~" N! l8 G5 U. L# q，
减少 了 边缘分 析的计算时 间
，
且对 目 标 区 域
2 E# j5 X1 {  h8 F9 m进
9 ~: F$ D9 K6 f% y& H4 V9 I行分 割 的同 时 即 可得到相 应 的 区域边界
，
具备很 好的鲁棒性
5 S- p, W* R  A' R6 n" h。
２ 、
5 D+ N, R, M1 w- P' a从包含 人脸的 任意 图 像中 截取脸部区 域
2 Y. W, i9 Y+ m* \, E- W# \" a，
. _3 n; e" ^: D5 m5 L8 z( O经过背景 虚化
, z9 c' u* p) ]3 @7 ?、
缺失部分 补
全
' b, v4 V% _8 C9 ]1 q$ S等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
5 c0 @+ w* W' m$ z! y，
1 B+ R, ~5 K$ n) L, t合 成后 的 图像具有 特征点对
齐
/ E0 X' Y* v* ]* ?% R' M. K0 u后 的 人脸位置
+ f( w- t4 Z( b，
  U7 X- p) U3 H1 \且脸部 及肩 部
( |  d3 G7 u6 X5 K6 s* _、
, N- r! A8 _% @1 \" o3 g上半身 等部 分都具有 统
) k, U0 d3 [6 }+ x: O' u. `( i4 r一
4 J; q" o4 j; U# q3 F的 分 割与合成 效果
4 M- d: D, I( E。
该
7 S3 |/ R& N0 M7 h方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
3 \# q! g( I8 y% |0 f5 U, \  I，
4 M2 B. |/ {- A* q; E" H可以 实 现人脸 图 像 的标准
化
，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
3 v4 B" @# @0 c) u% R8 o。
' |/ v9 Q. M( u4 j该 算法可以 作为人脸
0 s8 k% c4 ~$ c# B  |识
" |& x0 `' s  }, W$ R! |. |( F别 后 的 处 理步骤
8 `' R8 }# f- Q, W2 I，
处理后 的 人脸图 像 相 比 原 图 像具 有更
8 Y6 ^, u9 x, D: s/ V% p- O4 D5 m* K一
3 R6 ]7 N8 f% X9 L致的 图 像模式和对 齐
; s' J, q0 R/ E6 C  U# i后 的人脸特征 区 域
6 Q+ r- G5 w+ O. A，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
! G. i: k# s- q1 K' W; q' w; x，
9 t. Q5 v5 M: ^8 w4 B7 C9 T有效改 善
现
  _; P1 ?; k' L4 n有 人脸识 别 与分割 算法的 效 果
4 }+ }  T, t; l$ V。
３ 、
' p4 {! p' M' t) a7 B  }7 h8 `最 后本 文提 出 了
一
9 p, R! \: P5 f- o- S; M种 针对人脸 图像进行优化 的 超分辨算 法
，
; b+ k, Z$ w2 _相 比 于现有
" t1 t( P$ J5 }( J! T) i& ^9 G7 e的 图 像超分辨算法
6 n/ r5 V! H: X! O, _0 C) Z，
# r. Y5 y& ~+ g. F9 g该算 法在图 像 的超分辨合成过程中
，
: q, Z  P! U' T6 E/ \" i; t1 d4 u在关注合成 图像的 质 量
Ｉ摘 要
1 W5 \5 X4 z* z8 y) }和更加 细致 自 然细 节 的 同 时
，
# S- @) ~) b* ]: [更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
" M5 M$ H5 {8 [3 x& K4 K, F4 t一
致
的
人脸身 份信 息
4 h7 ^7 u: e' }3 w8 U! l。
算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
+ h* q# {9 |4 |$ i+ \7 B，
* j4 [$ h% w. d* J% Q# B6 G, ]可
以
( v2 f7 E% [$ `4 q4 L4 [$ r' x实 现图像 的 ４ 倍甚至 ８
$ d" J3 Z1 d5 a倍的 放大
，
! p" b6 f" a3 i% p# h  ?将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
3 K5 B' h9 @/ f% h. t  m人脸信 息 的 高分辨率图像
% W, a" o: ~+ l" e$ [，
同 时算 法具有很好的适应性 和 鲁棒 性
，
4 w+ y4 _; }# K对于 不 同数 据
/ K3 B9 }+ t+ t0 A! }2 R" H+ c库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
/ ]+ N: J6 M3 y/ z' k该 算法采用 了
一
种 端 到 端的 灵
3 v! s: b5 T/ O活
的层叠式结构
* F" M2 C/ X$ f  b# n9 y! C，
; z4 G" R, W% C, B6 _& p可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
; a0 v- O8 k+ H# z- u& q。
+ Y) i* B9 h) a- L1 }/ K. ^6 }４ 、
本 文在人 脸合成 图像的 对 比过程中
，
- F2 J5 W9 o: X4 r9 U* G提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
Ｄ
1 }4 N$ c: L, d( Eｉ ｓ ｔａｎｃｅ ）
代替 以往 的
* _9 E" y: |9 n1 S/ V$ nＰＳＮＲ
（ Ｐｅａｋ
* w! f/ r0 M1 H& @. g3 k7 P& C: G3 ]: nＳ
5 L' f7 x% _& H$ fｉ
) V  z, r* C8 `* y9 J5 p; z& _ｇｎａ
) q9 V! n/ m. w$ I, Eｌ
9 F6 K, a. h# n6 f; f( d－
ｔｏ
－
! w4 P8 E1 {. l3 S* lＮｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
  B7 I* v: Y( M! a8 y8 L( P7 j! ~）
和
Ｓ ＳＩ
1 F: `% W# ]# g, `/ s$ i6 WＭ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
－
ｉ ｌ
ａｒｉ ｔｙ
: r1 f, Y% I8 j& Y$ W0 ]( hｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
' {3 L. a: i" I$ L6 P' _8 \，
7 U; e0 N* }% l! y因 为 ＦＩ
Ｄ 值能
* P# _* m2 i$ T! [够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
# S- c) t& S2 p# O同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
4 ]. {/ U, V" G。
Ｐ ＳＮＲ 和
ＳＳＩ
6 I9 b" c& r+ F! g6 IＭ 则作为 图 像局 部细
% p' [9 v& s9 j0 ~: x% A: C节特征 的评价标准更适用 于评价 图像本身 的清 晰度
- c3 R" _% T% f, @9 N7 u5 M$ S3 S，
5 B/ l6 h$ I# x- @) ^细节质量等局部信 息
。
通
! v2 O+ `5 B. N2 O+ L" x过
' X7 q8 F9 O  s三者 的结合
; {3 F8 }1 n& u8 Z3 P; b, b，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
% P- d, I# P9 Z. k) O* C同时 评价
/ d0 y4 _- o+ j合
7 A6 @" Z1 c) b9 f成后 的 图像 与 输入 图 像相 比
- W6 S( E3 F! T. ~4 F' G，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留


/ ^" d3 l1 W4 ]; C7 ?7 `) K# `


8 E  o' m$ ?, q, G