用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
( G3 J/ _8 O! f. j
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
+ Y- _1 S, n1 r8 }- ]$ t。
随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
, |# ?9 ~" o& V$ F/ P8 [' E．
传 统 的基于 数学 模型 的机器学 习 算 法在
5 Q6 Y$ ~& \2 ?+ @很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
尤 其是 ２ ０ １ ６
年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
" J+ p5 p# {( @9 J7 t在传 统 的 图像识别
，
图像增强 和 图像分 割等
( r1 R) i6 v5 s/ `* |( b, g8 n领域之外
，
还实现了 基于 先验知识 的 图 像合成
，
但 图像合成过程中 仍存在算法
# o. Q* z4 Y& Z# J. K结
; J2 y4 A9 ^9 U果不 容 易 收 敛
，
7 g8 o5 z: v! }7 I2 _, V计算量大
，
优化速度慢
" Y& \# d! e& D6 T，
图 像劣化 等 问 题
6 X6 ?: ~# R1 ?3 J0 S' @1 s。
2 |% o% y( Y0 l; h2 X1 B针对人脸 合成 图 像
# h$ v6 v: s  B/ H4 W" w$ K，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
  \8 z# J8 p* B# n2 ^" V节还 原度
9 m* R# r# B1 A5 N; s，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
- G% r7 P, y4 H! H2 V，
仍需进
0 L) K5 B* C& {一
步 研 究和解决
4 `- C& ]1 H9 a" H' G。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
成
了
３
个 阶段
0 ~# D% W3 ]6 `, Y，
  b% |9 ~4 Y) o首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
，
最后 是 图
像的 超分辨和 画质 增强
# S, p' I& B2 ?/ p，
" M5 E$ S2 p: p9 {/ O实现 了 人 脸 图像生成算法的 识 别
1 p# n, `5 _% v2 h+ F# i; O* z，
; F$ C3 D# d# f4 q分离
8 ]5 m& E( F& t，
/ W+ V) L' p- y$ g2 v4 r! z合成和 画 质 改
善 的 全过程
。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
/ l- j9 d0 ?" O7 A，
本文 主要解决
$ r; f" w, d% s. q' V; c$ ?了
' S  ]* W, L; i9 _$ H/ F人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
6 c2 C3 u) A0 F5 o，
主要
工
作 内 容和 创新点 包括
：
１ 、
6 T- N9 h. ]' d1 p" o: U基于颜色统计信 息的 高斯混合模 型分类算法
" n" X% h2 Q4 i( L% [  C，
9 R) V" k9 ~7 F设计 了
一
! P5 L7 ~5 E9 o8 ~种快速图 像分割
算法
，
$ l' G1 ~, a4 u  U2 @) t) w该 算 法通过逐层 二分法
一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
# l8 j, X" n( _& ~3 C5 G，
7 h1 U# M% |: ?( P9 c) v+ H同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
该算 法不同 于传统方法的 先 由 轮廓得
到
连续的 边界
$ k) N0 F  j; q; h% x% n3 t. q，
再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
的
# s2 Q7 b: {% A0 u4 a形态学特征进行 目 标 区域 的划 分
，
/ _6 Q% s0 A( ^, ^减少 了 边缘分 析的计算时 间
，
1 g. Q9 p* d+ j/ M5 r% {且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
9 Z3 u# S4 Y; P  d. }: g，
具备很 好的鲁棒性
。
２ 、
. C8 Y% Q. s8 [9 N! O( y- ]& ]/ ]从包含 人脸的 任意 图 像中 截取脸部区 域
，
2 r8 F8 V# A' z+ o- r0 r9 B经过背景 虚化
、
  A+ Y, l9 n& ?" i5 k  Y缺失部分 补
0 ~; S3 K, D6 p7 r$ X% X0 [& h. b全
8 V+ D! J& H  h* x) r. r等步 骤
，
6 b, c1 D  I* j  @3 M/ H基于 生成对抗网 络进行标准人 像 的合成
, R) T0 d' _# D$ ?，
合 成后 的 图像具有 特征点对
齐
! i  q" b4 L/ G% u1 L3 k后 的 人脸位置
5 e; ?7 E6 k, n- d: |: L% V+ `5 L，
" }3 ]# A$ Y4 r4 X* f, O+ v5 ?0 G- t且脸部 及肩 部
、
' v( E% s2 Q9 d上半身 等部 分都具有 统
一
7 y+ o6 a" W5 ^' O! o# y的 分 割与合成 效果
, M& |9 T) I! w6 A. U% ^。
6 Y0 w/ M( y; r& w该
1 h9 ?1 P% q* o; [1 a) H. x6 Y: T方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
5 M' A) j8 H3 K. q可以 实 现人脸 图 像 的标准
) s( a$ {8 I& s/ S  i2 V8 M) w化
  c- E' j( Y& l& B0 ~& [. c% C，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
2 N: M$ ?: \" |$ Z$ b' a, ~该 算法可以 作为人脸
0 c# K% j% V/ M/ R1 x7 `6 l& F识
* P4 L5 A& a- g  z+ a, Q: o别 后 的 处 理步骤
，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
: ], ^6 q7 C" s$ j4 f8 R& k" I致的 图 像模式和对 齐
后 的人脸特征 区 域
: |! D5 U' i5 ]2 G5 D6 s1 ?  r，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
' l: G2 H. B" ]4 x2 D，
有效改 善
现
有 人脸识 别 与分割 算法的 效 果
3 M; Z+ d) A8 {。
３ 、
# W1 d7 O( b9 l/ B4 W5 z2 |最 后本 文提 出 了
& A& j5 x- Q" a& _一
5 U  s5 B/ b; F" R3 x, u& z种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
0 |: q6 R; P, a. t* @/ r2 M7 Z的 图 像超分辨算法
，
. q2 k& U+ r. s, c4 s该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
6 z/ M. K1 ~7 l- o7 xＩ摘 要
和更加 细致 自 然细 节 的 同 时
，
. F/ M2 k! x4 C. N  T& j3 P. l更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
, @( j% E  z4 c( E# w5 h' x的
$ [: ^$ v# @5 m5 C' A  ^人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
6 g% E4 s4 ?9 b- u: V* L$ I，
实现 了 上 述 目 标
) x4 |5 y4 v# L9 |  b' g8 p，
0 `- G0 C9 ?) B, T可
以
* y' n$ J( e4 Z8 O2 a0 S- o. L实 现图像 的 ４ 倍甚至 ８
$ Y! X4 r# V8 L8 G5 N. S! K- a倍的 放大
2 f  V1 Q! |3 M; Z，
4 B2 H: a* c9 S7 C将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
，
5 p: N: d9 a/ J' o( A1 v同 时算 法具有很好的适应性 和 鲁棒 性
) q* [$ E' N, d) K+ r4 E, W，
9 m% ]; J! \* I/ ^3 G. q$ [, E; s对于 不 同数 据
% ?+ [6 X2 r" |: u  ?8 V库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
7 f% C: C( Z/ t# p# v/ W$ w5 X5 A( U# S。
2 |9 F- V3 l4 K3 _; E2 E该 算法采用 了
! G" m# Q2 P: \' D! D! n$ u7 Z, r" S1 k3 Q一
! p2 R8 \7 }/ {, H9 k% @' n0 D+ L种 端 到 端的 灵
3 d- J6 _! r+ S& K活
! ?2 a: Z# N- T( D5 `的层叠式结构
1 I' |) {  D" j# ?+ w，
9 M3 s2 B( X1 x9 e1 X可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
1 `/ |! }$ F6 j。
４ 、
本 文在人 脸合成 图像的 对 比过程中
; v5 T/ J3 D3 G7 `( {4 d，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
Ｄ
) E/ X. z1 O" i3 O* ^ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
ＰＳＮＲ
% o3 z. E& p5 @& ^（ Ｐｅａｋ
Ｓ
7 e+ x% @$ q8 X0 }* C1 Rｉ
" H3 u  J3 Q" w# d% Fｇｎａ
ｌ
- Q, k7 c3 Y( q, l9 f# y－
4 o4 g# G) R  L; T+ f& j) k. Mｔｏ
' a7 S9 n; c3 }－
% V7 S) \: d7 T' F# H8 }Ｎｏ
3 Q- N9 M. W& Fｉ ｓｅ Ｒａｔｉ
5 J) S) _7 q6 u! |% M0 Hｏ
）
" @# T& t8 @, q8 z和
Ｓ ＳＩ
' L3 v: G2 \+ X+ h) A! H' S- C, zＭ
1 M* v. \% R- U1 I  H# J9 m$ U（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
) {+ |- U0 u: ?+ A  s# o& F－
! n- A# w2 }  C9 H- W( p1 Qｉ ｌ
ａｒｉ ｔｙ
! @8 C% A% }# n7 U# {ｉ
ｎｄｅｘ ）
; C3 Y  l# F2 c: n: R参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
) {) R/ }0 o* a，
因 为 ＦＩ
8 V! F7 q  `* f$ M' P* L! cＤ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
; M4 @% T0 ^+ u. @0 {，
同 时通过全局 特征 信 息 的统
( }+ N* O" M* U4 n( s& G8 g0 {计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
! ^% _" C) a* y- y! M- ^' oＳＳＩ
1 r/ n. j9 h8 n7 t1 y# j% [Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
& `7 m: }; c8 q, R6 I  b，
( O, ?" s* B, ^4 i7 v1 ^细节质量等局部信 息
" Z" y5 }* ?+ v- `$ r。
5 l6 X* T1 G# ^9 |# H通
过
三者 的结合
9 h& s, M/ g; Y" m  f" W，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
+ U2 Y1 v, N% R4 m# z1 m) D，
8 B! v- A) ?( x同时 评价
合
成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留


0 C$ Z& s+ k, ~2 ?& L# \
4 v: K& p. w7 j3 f9 k/ v
/ d% `; p' i$ m, \" D; y0 x% [