用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
/ s: t1 h4 r/ R9 e! g8 s7 g尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
# r; k: ~9 b0 I7 M，
  F: p5 K$ E* E+ Y2 e机器学习 领域获得 了 快速的进 步
。
随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
' N# |* Q* S( ?( {! {: }+ T& x! q4 U，
．
: D  Q1 e7 i: ^传 统 的基于 数学 模型 的机器学 习 算 法在
6 g. l* t! n9 b: O/ v& K很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
# v% X" `6 b2 q# b- Q，
尤 其是 ２ ０ １ ６
年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
! h, Z% a; _/ r* t，
5 D. o  |7 m( ~图像增强 和 图像分 割等
  u5 A$ O# z* g' @* H0 l领域之外
，
% P7 }/ v* X! m% d还实现了 基于 先验知识 的 图 像合成
" I" C9 ^9 z5 }- z& s( K，
- V5 X9 c3 c. n* k6 w但 图像合成过程中 仍存在算法
结
8 R( Y" H+ ]' s7 f果不 容 易 收 敛
，
计算量大
，
5 |% Y, K( }7 V0 V5 h  d* C优化速度慢
，
& b2 F. t- a- }1 M+ E- M+ H) K图 像劣化 等 问 题
。
针对人脸 合成 图 像
" f" }# V: J; M，
8 a% {6 Y3 m0 \; z0 v/ C( G4 n% k/ N已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
，
& {( a- m( w( S/ a' H3 o而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
1 G7 e4 q6 h; F* l$ N一
致性等方面
，
仍需进
7 i+ q$ q8 |2 W2 Q1 S1 H一
步 研 究和解决
+ [  X$ V( B" D% S; A3 }。
+ Y1 V1 s6 D2 s% Z3 k  L: ?; }) y本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
" W0 y- K( q( `，
( Z5 A0 l  z3 s. J6 Z3 f将合 成过程分
& A4 k0 c9 W/ G. p/ h2 o成
- i# T: Y: L  G. P3 p' G了
. b6 j# H0 f  ?9 b  \３
- J) |7 M1 o3 w, I! [. S个 阶段
，
4 C. b5 c  J$ q$ A0 f8 x2 |4 F首先 是 图 像中 目 标主体 的分割
，
: M4 e5 j6 M: V9 t* ?其次是 人脸图 像的合成
，
最后 是 图
像的 超分辨和 画质 增强
% C5 j' B) ^: {% @: V% J，
' W7 M5 M. J' B5 n% F实现 了 人 脸 图像生成算法的 识 别
/ c1 @, @* I: V. T1 f+ F' k  G，
! \% I# v, n. A6 j7 |分离
，
合成和 画 质 改
# Z% r; ^) z2 P* a: T5 F7 {% x善 的 全过程
# ?0 T% P5 c  D" c, ^8 M2 Z。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
6 I( n/ k! ?& k* }1 t本文 主要解决
+ Q3 j% y* M: P4 Y6 o, P6 M! F了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
  y5 j0 U8 f+ J) B+ l3 G主要
工
作 内 容和 创新点 包括
：
１ 、
; I( ^$ i/ `7 v( J7 i- V; ~  Z% }% x' b" B基于颜色统计信 息的 高斯混合模 型分类算法
( m) ^" B# ^+ V7 A% R- |- n，
! L- m* d. Z1 ~  Y设计 了
一
种快速图 像分割
5 J9 l+ z( u2 _算法
" F5 K6 n( k- ^  Q，
$ i% f- P* y* n  l2 p' ?该 算 法通过逐层 二分法
" `+ s7 Y8 p: M  n一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
该算 法不同 于传统方法的 先 由 轮廓得
. A/ c& h2 q+ ?$ r$ U/ d! Z到
连续的 边界
; h4 {, b  b9 N( F0 G8 X，
再得 到分割 区 域的 做 法
0 ~* X+ d( |7 x8 [4 L，
) O) I( D1 H' K" m而 是 直接基于 颜色 统计信 息和像素分 布
6 N# W$ d% G# R# f; l的
" Z2 d+ ^- K: u/ |- m( p& @形态学特征进行 目 标 区域 的划 分
，
2 ?! y( d2 A8 s- s3 p% C减少 了 边缘分 析的计算时 间
# Y/ D( Y6 ?) H5 u5 v，
且对 目 标 区 域
2 ^- S' O# e; N* N# p进
, p: _% W2 k4 E& z* C行分 割 的同 时 即 可得到相 应 的 区域边界
，
: e) z7 A; S" M1 A具备很 好的鲁棒性
。
; j- m: ~% g- U２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
# z" k9 Q& d, r- B, c  n  K，
经过背景 虚化
) h1 L: U( Y1 c* Q' E7 X、
  g3 T# f6 t0 z/ a& ?+ h; J缺失部分 补
全
等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
5 [9 [, q& L1 X. F，
合 成后 的 图像具有 特征点对
齐
后 的 人脸位置
，
7 n$ m4 P8 d% v) e' x  e& n, q, N# [且脸部 及肩 部
) Y0 o9 K: C, H" C6 j# S3 j1 D、
4 t/ `. p! Q3 B上半身 等部 分都具有 统
一
; w  K2 N+ Z5 o, r3 K% ]& b. ?' X的 分 割与合成 效果
, M. q1 a) n: ?6 G0 c: M。
0 `: O8 @" C, m1 L7 p该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
可以 实 现人脸 图 像 的标准
: v7 u: Z+ X6 X9 S化
，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
3 ?( @$ D) ]7 l& t5 V。
该 算法可以 作为人脸
识
! x( z5 @* v0 L1 G) n3 m6 @别 后 的 处 理步骤
，
; X6 c( {6 H) A0 k3 m4 v* E处理后 的 人脸图 像 相 比 原 图 像具 有更
, W- D: R1 J& ^3 {5 m! q5 e一
  p% J, G2 o5 f1 n* m( j. v+ |6 C6 ~- T1 ?致的 图 像模式和对 齐
后 的人脸特征 区 域
9 W6 h+ q( _( e) e% Y+ l4 l，
5 ~" X2 o. Q( ]: b同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
; Y6 h2 N/ q  f，
) h% }3 ]6 k, ^* n有效改 善
现
有 人脸识 别 与分割 算法的 效 果
$ b1 }1 o% }9 Q* ~7 e% i' l. }。
' S: W) D2 |7 @3 M３ 、
4 k1 J* Z! w+ }- `最 后本 文提 出 了
8 }" @* ?/ t1 t, \) ~6 E一
. M# Y0 ?$ `( F+ U1 b. s: U种 针对人脸 图像进行优化 的 超分辨算 法
4 j5 ]) ^% x& P3 s，
相 比 于现有
的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
% v  s+ y" ?6 _" N. e7 O) @Ｉ摘 要
8 `! A* ?6 b* g" w7 v和更加 细致 自 然细 节 的 同 时
，
# f% I1 i; M+ v/ o+ A/ Y更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
5 w0 D8 L' y5 m% t' ~1 V* q致
4 {2 J) X9 n9 q的
人脸身 份信 息
6 G. X0 C4 D1 t0 Q* E。
6 I. U$ [1 g; O: m# r, z) m算法通过引 入 生成对抗 网络和残差 网 络
) W9 d' [7 C' D/ w8 L% `0 f: o，
实现 了 上 述 目 标
! Q: U' K" P0 t# }- X，
* Y9 {' k9 Z0 Q# d7 D; |可
8 r/ |8 P$ K* e以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
1 G9 J1 f* W4 ]% K7 \' u将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
) M) k; U- h; f; X人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
* h/ m5 N* t8 `, J1 J库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
/ t3 [: Z3 k8 V$ L9 N& {。
该 算法采用 了
. C/ @5 T. m; ?; A# V3 i1 T; f8 r一
种 端 到 端的 灵
活
的层叠式结构
$ ]% K) X/ j. k% S( c  v. u，
2 X5 U6 a( b9 E可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
: H' r) x$ a# @, f7 K# o1 C" y。
$ b) }! V" T2 J, F  \! S6 Q9 ]5 ]1 y& I４ 、
本 文在人 脸合成 图像的 对 比过程中
" F6 ]* E* M2 u，
" D4 d( i5 C! Z1 W- y2 c+ O! u提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
+ K" D+ P2 b7 IＤ
, S! r3 ]5 r% S3 D0 Eｉ ｓ ｔａｎｃｅ ）
% ?2 q) g3 _7 z代替 以往 的
2 l. N7 d* @) U; o# f3 X8 }) bＰＳＮＲ
! e& x+ C: O" t' t5 w6 S, q（ Ｐｅａｋ
, i! h) j: j( A0 n4 m4 FＳ
ｉ
ｇｎａ
# a$ N" b4 O8 ~) Fｌ
" h) V# T5 h/ z: M6 Q3 ~－
$ e8 ~. S2 J! D/ H/ Sｔｏ
* X! U* r  U* Q- ?－
Ｎｏ
* G/ ?9 k7 ^5 F; H, Lｉ ｓｅ Ｒａｔｉ
ｏ
）
和
+ }9 g% K) W$ \; |Ｓ ＳＩ
9 o& x0 |, n  V% y( b1 O3 \2 w9 X* VＭ
, r, Q1 m% y3 E' a/ p! A（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
; K; g: ^( J6 Xｍ
－
ｉ ｌ
- r; K) i- B& ]5 {  Y$ V' Oａｒｉ ｔｙ
% z( P7 K9 P2 [% l0 U; s& nｉ
ｎｄｅｘ ）
0 O3 w5 Y  T. J) F2 s9 X参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
0 @$ {& k1 U6 Z7 ?4 I，
因 为 ＦＩ
Ｄ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
% A8 g( x+ C7 ^$ q9 f9 y; ?8 L同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
2 H' c! S8 k* g。
Ｐ ＳＮＲ 和
ＳＳＩ
3 k$ |/ }7 e' H" _0 J+ @3 T6 B" iＭ 则作为 图 像局 部细
' e* g* f, A6 \( J/ p  D2 d节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
。
0 e# I$ ?5 a9 J! n6 y* s+ K通
过
( E) f% w( h/ o+ r4 W三者 的结合
+ c) y3 K0 t6 `, }，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
$ ?5 l# o7 U/ o，
同时 评价
; S0 A" `! x. b, Y合
成后 的 图像 与 输入 图 像相 比
，
" i5 t; U5 t7 k4 g其 中 的人物身 份特征是 否能 够得 到更好 的 保留
" c& {7 `# T) a4 j

+ U! \6 F- `3 X4 |5 s

0 q1 y: k; n! \5 X7 w. N/ }