用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
7 m/ H9 H+ S+ n& P$ {
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
( _# z- z( {; N/ @，
尤 其是 基 于通用 图
) Z: d4 T! {# O  g! C/ |形
处理器 的并行计算技 术的快速发展
，
- V5 Y+ `4 J3 ?机器学习 领域获得 了 快速的进 步
。
! e3 F" b* B$ u随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
5 I6 p( L! V1 U5 I" P: F0 T: [$ F，
; D6 y# c7 T7 @．
传 统 的基于 数学 模型 的机器学 习 算 法在
: T3 {, v0 R5 K- G! U3 @4 \很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
尤 其是 ２ ０ １ ６
年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
，
图像增强 和 图像分 割等
领域之外
0 N" D: c, |) e' Q，
还实现了 基于 先验知识 的 图 像合成
，
但 图像合成过程中 仍存在算法
结
2 C/ d' y% H2 L% |果不 容 易 收 敛
，
计算量大
5 T: y! G5 N7 L( d) ?( m1 M，
" }+ ^' W3 e" b$ S/ o优化速度慢
0 j) }0 E& {% }+ i，
图 像劣化 等 问 题
。
- Q& ~! r5 W4 R针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
1 ^( K  a- I+ ^0 {+ w# \3 v4 W: q，
1 K7 F+ ^/ m! y8 u# y8 w/ Z而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
3 m) p7 E) G. z( E# r致性等方面
，
仍需进
一
7 K7 Z4 l, Q- k/ G% `步 研 究和解决
7 t* J: r! C: M5 C: h4 R* O1 y/ c。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
成
  d+ N; {1 K! s: U了
３
个 阶段
，
首先 是 图 像中 目 标主体 的分割
% I+ s* g+ T0 z7 H9 L2 u，
/ \1 r) w& ^! T1 D其次是 人脸图 像的合成
，
0 ?5 N" ^) }" E% w4 m0 q# Z- s最后 是 图
像的 超分辨和 画质 增强
$ c' L5 d- K) x+ g2 u+ ?: M，
1 F3 v8 G) p4 I实现 了 人 脸 图像生成算法的 识 别
. S% R2 n& I4 u6 N3 [0 a3 F! @2 f，
  s9 w; X  p$ P分离
，
* \9 _' j+ R& v( }8 r2 H合成和 画 质 改
' o: L5 n" ^6 j  H$ S1 {) S: x善 的 全过程
$ R. J3 a$ q4 E- H* Q- B1 w。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
* d/ n- O+ t  k" ]' v，
本文 主要解决
% Z( I4 b6 K. n1 f. Z* H6 P了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
# ?  j$ q! K$ u6 x2 E! C1 h9 \主要
. q# M9 O3 }/ R! U! F; w# d3 ?# t工
+ B; p7 v+ K: o, m- M  t* p. @作 内 容和 创新点 包括
# ?4 ^# x+ \- g7 ~  v：
１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
' j& b, }' I4 Y; u+ H设计 了
( V& `& R- f$ s( p: F" W一
种快速图 像分割
算法
0 B& F6 J" L# [" m+ v: R, [，
4 E1 K2 I- }* F$ S3 X; Y4 `+ F该 算 法通过逐层 二分法
一
5 a# B, V9 M4 m9 y+ g  ?次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
% t, F3 d# X4 r7 X同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
# l) m) t$ Q4 q9 c该算 法不同 于传统方法的 先 由 轮廓得
+ m$ A5 U6 l6 Y, {4 x. K到
连续的 边界
，
8 ^0 B* Z) \( H# I7 A# L再得 到分割 区 域的 做 法
; ?6 O3 `6 x. b& C$ h# ^，
4 v7 T# \+ Q( Q  [  g3 C/ |) Y0 N而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
9 `4 E0 V; E$ E  j. F" R，
- [7 h6 _; a6 M2 D# M! }& d( v减少 了 边缘分 析的计算时 间
$ |9 b! z7 [8 C* P，
且对 目 标 区 域
* _: F: y# |5 f进
8 ~% `8 s4 ?. y0 `: v行分 割 的同 时 即 可得到相 应 的 区域边界
$ z0 c6 b3 Z$ L9 U! y! M( e& n，
具备很 好的鲁棒性
。
２ 、
( Z8 @; T0 }& [从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
- c! `% _7 K6 E& ~' \、
% ~: B  s) j9 h1 n2 \& G9 U; K缺失部分 补
8 {6 N# b+ q  u& e全
等步 骤
( |) W* W: y# {- [( A1 ~，
基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
齐
后 的 人脸位置
' R+ F3 \! T3 J/ J4 U，
且脸部 及肩 部
、
上半身 等部 分都具有 统
一
" {  d- h) `+ M; t) T的 分 割与合成 效果
- P3 A1 u9 k! ^% ?! u( N。
该
+ f8 B' u- u) N9 r: ^方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
1 v+ [8 ]% m9 ^4 p" x，
" q$ i) Z# n7 W: D! T5 l; }7 T可以 实 现人脸 图 像 的标准
/ Y2 Q& x% C8 [: K  F: k4 X化
，
9 b: z) s" W1 A+ x: p/ j/ M* h6 e同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
该 算法可以 作为人脸
- e8 \& p( k% G: K2 F# @3 z( P: w识
! s" U4 p  N; Q9 v% j5 |' S, J. p别 后 的 处 理步骤
, p8 E/ E+ l3 Y0 `2 O! N，
/ P$ e9 _* K% C2 W8 {5 t2 V8 w处理后 的 人脸图 像 相 比 原 图 像具 有更
- V/ r0 [: Y7 J) Y/ P0 b一
) R/ B2 d5 o8 E" W! s- a/ d5 p; i致的 图 像模式和对 齐
" A$ b2 I. P9 x7 A( o后 的人脸特征 区 域
，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
现
有 人脸识 别 与分割 算法的 效 果
9 w1 E8 W1 N& J3 M( i: {6 o。
３ 、
' O& X  D# _# _! c6 s3 E最 后本 文提 出 了
6 H! m6 N& J1 `1 O' p一
7 I/ @% u6 Q% i- s* G4 P种 针对人脸 图像进行优化 的 超分辨算 法
，
3 z0 a% ^9 Y# a) C- |$ X$ }1 x相 比 于现有
6 U3 N5 Q/ J/ `5 X的 图 像超分辨算法
' {0 `( w- S0 ^4 j$ B. Q，
) [: k% a: ^7 O" \+ p& V1 b该算 法在图 像 的超分辨合成过程中
: `9 c. ~9 \! Q8 ^' F( a，
在关注合成 图像的 质 量
9 W! N# p. S8 b3 uＩ摘 要
& \: M" z0 _4 c4 q1 |' O和更加 细致 自 然细 节 的 同 时
，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
的
8 h& h; ~; `* P, g人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
4 n8 Y, V, G6 \/ Y% h# \$ @1 Z7 b，
2 K6 {- s; z  l7 S实现 了 上 述 目 标
, j3 f: }3 E8 v) P3 f, w，
可
以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
5 B- Y/ H  A: ]6 W2 |6 S# |将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
" M* w5 t" ?; n1 `人脸信 息 的 高分辨率图像
，
: u! e9 ]% `% r9 H同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
2 v8 k0 A% L, J, F6 x) r库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
6 r  _( C) @9 d4 i5 Y1 p- w( X: x一
1 o1 ^; l  \, j$ m3 P/ {种 端 到 端的 灵
活
; [4 k: L, g9 c: `6 R的层叠式结构
; Q3 e% {+ H8 B! G- m# D，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
' C. K3 c+ J- T8 r- p/ q$ i2 X４ 、
; @6 n* L/ o  W) d本 文在人 脸合成 图像的 对 比过程中
，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
3 n: _3 {2 j4 k" W  |* Jｏｎ
+ J. a, l% ^7 Y( p2 fＤ
( F; O# M6 P8 D. a5 d) P- u  R( M% mｉ ｓ ｔａｎｃｅ ）
) B& B" R' c% m) Z% [代替 以往 的
2 P+ R! ]* C! @6 Q2 j: ZＰＳＮＲ
' u" R3 U  O: i6 [（ Ｐｅａｋ
Ｓ
& N7 g5 T. @1 F( l* y$ ^5 R1 M2 o& Vｉ
& |9 B2 w- y- s. A# c4 [ｇｎａ
ｌ
/ E- V) |3 r8 F－
ｔｏ
: C, `7 c' s* |3 m9 d, ]. P9 d－
; r1 j! s1 V3 r! d. U# W7 I5 WＮｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
）
和
" e. f8 w' W+ ~4 D8 ^Ｓ ＳＩ
Ｍ
! I; q, M' g- _# U$ c- M# w（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
5 X" k* g. Y* A' mｍ
+ n8 O6 x  s7 s－
* M5 E2 k) r+ _ｉ ｌ
ａｒｉ ｔｙ
ｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
+ B' }9 ?$ K1 x# t* y/ E* W3 r，
因 为 ＦＩ
Ｄ 值能
5 ?$ p5 y5 [2 F+ B* Z7 i够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
7 @2 E$ E2 M- Q同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
ＳＳＩ
Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
; D4 Q0 p# n7 J8 r, i, Q，
0 F6 u& d1 ]* u! H8 Y. T7 U# A; x细节质量等局部信 息
。
0 z- ]) _0 ~  A/ C* \$ c7 b通
6 ]% G$ u. H/ H9 H: ?6 [过
# a! Y0 ?3 }, G2 [1 `三者 的结合
，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
; ?% E# L$ p5 J$ r9 m% B，
同时 评价
$ ?4 z0 j) w1 Q& D  t合
成后 的 图像 与 输入 图 像相 比
# f, o' ^% h0 E& O，
4 g% d9 b3 {/ h+ h- G( Y其 中 的人物身 份特征是 否能 够得 到更好 的 保留
9 ^3 f1 `# S1 e; Q; j9 a

5 I* g8 j. T" ^+ N4 l