用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

1 N6 M3 K! Z4 S/ X) u6 H随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
8 S( K+ x5 T/ a* u尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
，
4 I0 l: r1 k5 F& o) _6 O3 t5 B机器学习 领域获得 了 快速的进 步
# D: g% s9 ]3 j) A7 ^. h。
随着 基于
+ k4 \4 t7 ?! q6 j* ]+ ^( W卷 积神 经网 络的深度 学 习 方法的 出 现
3 e) \8 A; S8 q$ m，
．
8 O, A# u' h- C9 r7 g  l传 统 的基于 数学 模型 的机器学 习 算 法在
% I6 q$ C, Y6 `0 l很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
尤 其是 ２ ０ １ ６
7 O2 C: M. N  o; G5 h$ S年 以来
# U% ~- w. r! G! X4 _，
基于 生成对 抗网 络的 图像处理方法
; M) g9 a; ]. K* E# ]$ w8 @/ V- N，
在传 统 的 图像识别
$ Z5 K9 h0 R) \- @) }0 }，
图像增强 和 图像分 割等
领域之外
，
6 X# F  k1 D- @4 A0 [& R2 ?+ C还实现了 基于 先验知识 的 图 像合成
，
6 @5 k. p% O# T5 t* u9 [5 Q# B但 图像合成过程中 仍存在算法
% P& {" k# }- ]$ `  [8 g结
果不 容 易 收 敛
. D: b* d8 T  Z( n，
( U# _6 |7 _6 g2 w4 d计算量大
，
优化速度慢
9 I/ e% ?2 O% M，
图 像劣化 等 问 题
& I. z1 R# i: a& l; p。
/ f' U/ w, T9 i针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
- M; I6 I/ g: @5 o节还 原度
& u9 H! r. n6 @+ \，
. q0 _+ c, u  E5 W0 Q6 y$ d0 h而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
) V7 o' K1 x9 M3 l一
. r5 i2 K3 V9 e- k致性等方面
! m; o8 ^) w. f1 ~3 ]- T，
" _0 {& n5 |* |+ g仍需进
+ X) B) a3 A5 E  t  [3 v一
& w0 O9 F# d. s4 Z/ ^! Y! i. H步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
$ O# _3 v+ E5 i. L% O% C7 H& Z2 A8 r将合 成过程分
成
了
' i( i7 m; U. c4 E1 U３
/ @) z' u( f! L" Y: l' M个 阶段
，
. h& a: Z/ @5 n  n4 a( i首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
，
最后 是 图
4 `/ b" ^2 M( d4 n) X$ t像的 超分辨和 画质 增强
，
% J5 C( c7 p3 `9 H0 l6 k实现 了 人 脸 图像生成算法的 识 别
6 [+ F% X+ R; M3 y5 M/ \: ]! g，
" W2 u6 h+ T" {) k- Q4 W1 Y7 ?分离
，
合成和 画 质 改
善 的 全过程
% T% X' q  [( b4 ~! Y, ~% Q。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
4 y# I$ y/ f# T2 ^，
本文 主要解决
6 P$ i, C/ x, B: i了
) Y2 }' ?/ _( \6 E人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
! y. |! e% W8 Y. j! l5 b，
主要
工
- u$ t' H1 j6 K& _" s作 内 容和 创新点 包括
* e" E% \, i/ p1 |9 j：
  C3 \; i7 T+ S4 ?" T１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
  X0 i6 f1 S  d5 n设计 了
一
$ J: z% d* X9 e- {种快速图 像分割
' B& ^" K- S% o  t' i算法
: U% A9 a" s6 V, H，
该 算 法通过逐层 二分法
9 T  b, q3 M- M# b一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
; N, h/ l+ g' t4 g。
该算 法不同 于传统方法的 先 由 轮廓得
: N; G; j  M% }, j. l3 C* S; n到
连续的 边界
，
$ Y, P0 t5 N4 V6 U* Z- S再得 到分割 区 域的 做 法
$ D. _* J- V! |. o- N，
, i0 E& e" [6 d0 K, V7 `" z而 是 直接基于 颜色 统计信 息和像素分 布
的
% k' X0 j; B( z: _- ^0 ]形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
，
2 Q/ c7 L) S2 ]/ [( f. q0 f7 Q且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
，
具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
# c% E' {6 Z7 v. ^，
- V+ v' H$ L8 @! ?- M经过背景 虚化
、
1 |7 l" e) ^2 }9 a- a5 V缺失部分 补
/ V. ~/ P4 W" K全
, R. s  B* N3 [8 l等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
" I6 n( b- T$ g; i& C& t5 Y( U9 }0 n齐
后 的 人脸位置
8 V0 Z' g+ V* c6 ?6 L  \$ A，
且脸部 及肩 部
' m" b: T5 Q9 [& V2 V、
+ w5 R4 V4 a1 Q- L- h上半身 等部 分都具有 统
一
, [3 z) a3 l/ G# O% G2 j的 分 割与合成 效果
。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
' x1 S! i4 {4 E  W' [可以 实 现人脸 图 像 的标准
8 A; j  g- q$ x: P# L, g化
9 d" |, ^, ]- H2 ]: Z，
3 K; p8 b5 k4 t8 C9 p5 [同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
; c7 m- f' h! P, I。
该 算法可以 作为人脸
识
9 F1 S5 q+ X$ @5 L' q别 后 的 处 理步骤
，
* V9 ?% |2 ]. m7 b处理后 的 人脸图 像 相 比 原 图 像具 有更
一
6 L9 s! d. m9 W( w2 B* F4 ?致的 图 像模式和对 齐
6 E; a# R5 \- J" M; L* O; z0 _# v0 e后 的人脸特征 区 域
" f/ N/ J: [: c7 z6 r，
* k' d, }3 z+ K1 r% o同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
; j+ o3 K. c4 n! N现
6 F" z& G( p1 ~5 r  J+ {: o( E有 人脸识 别 与分割 算法的 效 果
" U- n, U6 a0 A- m; e" b。
３ 、
最 后本 文提 出 了
一
8 V$ S. F/ T/ H7 }$ W种 针对人脸 图像进行优化 的 超分辨算 法
，
5 @  q; _) h% K7 Q& y相 比 于现有
的 图 像超分辨算法
$ t+ s4 K  Z0 i，
该算 法在图 像 的超分辨合成过程中
2 M# q2 G( S4 `) v4 X/ S2 m: x$ W! F) Y，
在关注合成 图像的 质 量
* l( q' m2 i. N4 h4 \7 C' pＩ摘 要
) s" s- l/ @1 ~# F* P( k和更加 细致 自 然细 节 的 同 时
4 p5 D# \) O% S5 C，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
' x6 f6 Q( [1 \/ {: Y致
的
人脸身 份信 息
( k1 {  ]7 ]9 Y。
算法通过引 入 生成对抗 网络和残差 网 络
，
: L2 ?% `# U* }' H实现 了 上 述 目 标
  i1 [$ t0 A( D2 ^: D0 F，
/ _, n' }+ V7 k& p# Z2 M可
以
实 现图像 的 ４ 倍甚至 ８
0 d5 x7 V8 r2 w1 ?9 f9 M8 Q6 \4 e倍的 放大
) S" X5 d) Q5 X，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
! |' d2 r4 q% D人脸信 息 的 高分辨率图像
，
6 s/ o& E" m$ m% `( K同 时算 法具有很好的适应性 和 鲁棒 性
$ ]# Q0 K4 ]% c, z. y，
$ E6 F- ?$ C% C# w6 y对于 不 同数 据
! `1 l  f. n7 A库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
0 k# K4 w4 b/ L! L9 y。
7 d( L5 f/ v+ k该 算法采用 了
一
种 端 到 端的 灵
7 G+ F* j! g0 ]/ }6 b9 I% M0 a活
的层叠式结构
，
; |# C0 m" z6 O5 l# S可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
( Q  \4 q! G* W) u- A。
４ 、
本 文在人 脸合成 图像的 对 比过程中
4 z+ x6 s% q3 Z. P; r# U8 i，
+ R) j" U9 N8 [) Z- r% M提 出 了 使用 Ｆ Ｉ
8 P* }. m1 a" y9 Q9 Z7 nＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
7 @* X3 S1 c: q; qｏｎ
Ｄ
3 y& l1 g& T& @' o- r/ Eｉ ｓ ｔａｎｃｅ ）
, q7 Q8 g. s3 }代替 以往 的
! u6 l$ A$ D2 J( M7 mＰＳＮＲ
（ Ｐｅａｋ
Ｓ
0 f7 X5 m6 @3 {8 `5 {ｉ
, [2 G1 b( g" V6 K6 Tｇｎａ
ｌ
7 c' k; y6 Z6 g- ^# e1 G4 h－
6 j" G) j$ X6 w, tｔｏ
" S5 f/ k- _7 m- [  ?4 B6 e2 {－
Ｎｏ
2 |8 o# h! h# [! F5 M& C0 x% H. }* ?4 rｉ ｓｅ Ｒａｔｉ
! G! [. z, |) _# C, G6 Rｏ
）
和
( @* ]8 v) L! l( _0 T8 b: iＳ ＳＩ
Ｍ
3 M7 W1 b, U+ }* z) w（ ｓｔｒｕｃｔｕｒａ
: K  h1 o7 N" L0 @) Uｌ ｓｉ
4 Q1 y5 i. g0 K' c( R6 B' F* fｍ
- z% ~9 q( ^5 m4 f; e+ q－
ｉ ｌ
ａｒｉ ｔｙ
ｉ
7 j! A" w6 C: L9 o- |' d/ ]" r( Mｎｄｅｘ ）
3 G' J6 h4 D* m3 p% e! S参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
$ P. r+ x: `% A  W' I1 {，
因 为 ＦＩ
1 v' K% w  n9 o3 o, L9 QＤ 值能
9 T' o' a/ d* x3 n7 L: F够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
! Y' ]: N1 x  e, A同 时通过全局 特征 信 息 的统
( Z7 [6 o* r1 J4 Y" [9 w计得到 图像整 体的合 成效果 与 原图像的对 比
。
' J7 k8 @8 u& B# r9 qＰ ＳＮＲ 和
8 D2 O/ {3 D5 C4 mＳＳＩ
Ｍ 则作为 图 像局 部细
; X1 b1 W/ e/ s9 ?节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
7 C1 t# c" w, M% A细节质量等局部信 息
。
, F- T8 D" I! R% g; k1 I& F通
( J4 z$ W9 P- E5 @" S过
) r6 r+ T8 j8 |5 X三者 的结合
，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
合
0 N$ O2 S8 m/ ]7 K8 R. L2 i) l成后 的 图像 与 输入 图 像相 比
8 P6 K, t7 \7 K! \: D1 a6 I8 \4 e' _，
8 ^/ |# T; w) M/ }! Q) J' U其 中 的人物身 份特征是 否能 够得 到更好 的 保留
3 e  p, h, a$ g
7 d8 y1 U" t# n. f* L


6 ~# `, }- a" A2 h/ J1 O