用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

, p" f# {' k+ Z随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
+ K; Z/ V5 Y+ B# v尤 其是 基 于通用 图
形
8 a- n) b; S3 P处理器 的并行计算技 术的快速发展
，
5 `1 e: z7 j6 r9 @2 z机器学习 领域获得 了 快速的进 步
。
+ [7 I; L% o3 z/ t, s" R随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
+ i! y) K  j" I7 L4 V8 n+ S．
传 统 的基于 数学 模型 的机器学 习 算 法在
! F0 A# @  U, T: @4 r2 m很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
0 k: {. n1 f" C0 F，
尤 其是 ２ ０ １ ６
年 以来
1 V; r. I; I$ m  N  j，
; L, m( |2 o# S, f/ d基于 生成对 抗网 络的 图像处理方法
7 {9 q% r& R) s# G，
在传 统 的 图像识别
，
; d( M2 F: y* G图像增强 和 图像分 割等
$ w  ~' O- v! l: O6 L/ O+ k8 U: y领域之外
1 c! N  M$ A) Q) S0 _8 h" W0 S，
还实现了 基于 先验知识 的 图 像合成
8 w! Q% f! {: k4 p8 F* j，
但 图像合成过程中 仍存在算法
结
果不 容 易 收 敛
，
计算量大
. B  e6 F6 @$ o1 |' ?& ?' ?，
3 H8 B- Y/ I$ Z9 d+ X& V9 b优化速度慢
，
图 像劣化 等 问 题
/ P6 c6 X, t/ S( a7 N; U+ z  H。
针对人脸 合成 图 像
3 v$ I* f3 I) [& l: F，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
，
# @5 {  a/ ]& ^% d# t9 P而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
，
仍需进
  U. K% h: k% o2 g; \6 s9 K9 i一
步 研 究和解决
9 C  S% }: `; j: A, T: S* d。
; F( y" H$ K7 S" q本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
成
  F' k* n7 }5 S4 C' l) V6 \7 r+ {了
３
个 阶段
，
首先 是 图 像中 目 标主体 的分割
7 d( \, C6 m, A: g$ i( H，
其次是 人脸图 像的合成
，
最后 是 图
' P( Z5 f0 ~* S7 L. Q% e像的 超分辨和 画质 增强
，
实现 了 人 脸 图像生成算法的 识 别
' r4 Q4 V4 v! a7 u，
4 U( q5 V6 l1 v+ G4 q分离
，
合成和 画 质 改
" D# g/ V' t$ [8 p善 的 全过程
。
8 a2 \8 b0 R; N4 C/ J2 l8 A针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
了
2 |7 U0 K1 ?: z9 J3 A2 V人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
主要
工
5 q9 ]1 _( O) Z. ], |1 I4 D作 内 容和 创新点 包括
/ ^" {$ V6 q1 Z3 N" G- F6 b; c1 r：
１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
0 w4 z, D: Y8 s' U, r8 ?设计 了
9 d0 q7 \# G/ k2 U一
种快速图 像分割
算法
" d$ g1 h% d" o，
该 算 法通过逐层 二分法
8 a# B6 n3 ^$ L" K$ U# i一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
. Y; Z, U" @6 S  N# N同 时 由 分割 区 域得 到相 应 的 目 标轮廓
. \) V3 y% ~8 o! f2 F。
% W7 X8 a' e8 J+ T4 y该算 法不同 于传统方法的 先 由 轮廓得
+ \5 [2 c& I8 @: B到
连续的 边界
，
2 b4 Y5 D' i- O8 W; R1 h再得 到分割 区 域的 做 法
，
( G! v) G- g& |而 是 直接基于 颜色 统计信 息和像素分 布
1 s( U8 Y& @  s, N. Z3 P! F的
形态学特征进行 目 标 区域 的划 分
3 S/ K0 u( b) N1 t, q: |8 q/ t  |9 B，
; d) [1 T  w7 O减少 了 边缘分 析的计算时 间
，
" i7 n. k7 Z4 K8 C0 T且对 目 标 区 域
6 z: n1 ^" C0 |1 K& v0 P. t" q进
* g, {/ x! Y( R行分 割 的同 时 即 可得到相 应 的 区域边界
& Y. j! z7 U0 ^! P，
- M: V* k- W% |8 J1 G具备很 好的鲁棒性
。
( @( y; y* u1 N9 K# [２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
; Z: M$ S' u4 ^8 A$ m经过背景 虚化
、
缺失部分 补
全
3 X3 L6 [$ H5 v( Q+ ?9 q* ^/ H等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
  l/ |$ [' }( ~3 W/ k: Y合 成后 的 图像具有 特征点对
齐
后 的 人脸位置
2 P5 o+ O5 T, O，
且脸部 及肩 部
8 S% g" W. A8 t3 f. H) h& u、
上半身 等部 分都具有 统
* p3 G% q# B& M9 z$ w一
# U& V3 e. m3 f的 分 割与合成 效果
。
  B& y) O! @& V+ ]2 g' r该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
可以 实 现人脸 图 像 的标准
1 [+ Z) X) g+ z3 s5 A/ X' [  \& t% D化
7 q) R, Q. }  O  B) u% u& E，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
" o) Q% M* Q5 D9 e) C该 算法可以 作为人脸
: t% D- |( l* W/ ?识
# x3 R6 H+ d1 m$ q! c5 P别 后 的 处 理步骤
，
5 J* S2 c: f9 h7 I6 Q处理后 的 人脸图 像 相 比 原 图 像具 有更
一
4 K3 P5 {) v  @/ d5 L5 R+ R! S  v; x0 |致的 图 像模式和对 齐
后 的人脸特征 区 域
，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
: W% s' x" [! e& M" T* y# l有效改 善
8 T* }- U8 s/ _0 a现
有 人脸识 别 与分割 算法的 效 果
。
３ 、
最 后本 文提 出 了
/ T0 `5 ?% @" S  I5 W一
种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
$ v6 P3 T4 Z% ^' Z; z5 F. F的 图 像超分辨算法
1 F7 N2 x2 w+ T% U& l，
2 d3 q1 U1 r2 C/ A该算 法在图 像 的超分辨合成过程中
  b0 Z1 x# u* K2 j( L5 z% ~8 I) Z, U，
7 P9 z# R; ^% S, f! B在关注合成 图像的 质 量
Ｉ摘 要
' p# v+ W- b7 [" Z5 K. e0 r( t和更加 细致 自 然细 节 的 同 时
，
- i9 \! D/ h" ?7 `8 b更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
& u. p* O( v) N& s" j6 [) W3 S一
$ K8 j. `2 F* B1 i# L致
/ A6 s- z- W  }$ J0 N2 r! Q, G2 E的
人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
/ n' m  Z" v- e  D' N0 G，
可
以
实 现图像 的 ４ 倍甚至 ８
3 g5 f5 A- A% P( d/ e倍的 放大
) Y& ~$ V8 I+ n，
' N: B; \; w" R4 C9 b将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
/ [/ c  Q3 G2 ^/ d, `( M. b8 o! D人脸信 息 的 高分辨率图像
% C5 m: B8 _2 l( A) H6 p4 n，
同 时算 法具有很好的适应性 和 鲁棒 性
7 W$ A' d0 Y: F" m' Z) {" d! J8 p，
% E: n! O! \& A- o$ T; G对于 不 同数 据
5 m; A: x8 z3 D8 P库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
# I+ U- ]9 H/ C" c3 ^。
该 算法采用 了
一
. `* U7 w4 R# k# X种 端 到 端的 灵
活
4 J8 b- N2 F, `. E) R3 H, C的层叠式结构
，
& S: ^3 x7 _2 z4 o. J) T. J; k可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
4 }  e6 ^1 G* n  R。
４ 、
本 文在人 脸合成 图像的 对 比过程中
9 [; A9 |* w4 l  v, y0 w，
' W: U; a5 D% G; x提 出 了 使用 Ｆ Ｉ
( Q' n* G* @' r% n+ u+ U0 sＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
: H3 o( w+ N. O0 j7 {ｏｎ
2 ~4 ~9 f. x- P$ b0 N9 pＤ
) ]0 R: B: H5 G6 r& q* k$ r! Uｉ ｓ ｔａｎｃｅ ）
+ b+ l2 ^% ~5 d9 ^2 c代替 以往 的
ＰＳＮＲ
7 w5 q" U6 d; q7 l3 ~% [（ Ｐｅａｋ
Ｓ
! P, W6 o; U3 ]8 O2 x- u- Sｉ
ｇｎａ
% Q% m( ]) @- n* v# a  Cｌ
' u) r& I& ^% J) x－
1 T6 b& W$ p. z( \  uｔｏ
－
/ T, d* H7 g) o. l/ eＮｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
$ ~; o- e$ q# s）
& c% u0 q$ Z4 i7 j2 B0 S2 l和
) h# M' D; S7 p% ^6 b* M; eＳ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
% K/ k6 z; E" g4 Jｍ
－
& y/ \9 H6 X/ o" y. \8 i6 Fｉ ｌ
ａｒｉ ｔｙ
/ U8 [  k) v( C% sｉ
& m7 C# y" R; ~+ F/ x2 `! ~( J* Vｎｄｅｘ ）
# ]6 t# x" V3 f9 q参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
# ^# Q  z; y0 ?% B' V6 p因 为 ＦＩ
Ｄ 值能
+ e8 p5 g6 T0 z够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
+ Y, C) {# l+ d- x$ C计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
0 f" d1 Y9 G" h5 qＳＳＩ
+ _# |0 @- m# g5 Z' u6 d3 bＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
  ^6 _) i- c* y5 r% S! l2 H! Q细节质量等局部信 息
。
通
+ }- T( B  x) d, S; m# Y! K6 O过
( \+ u2 r. m/ I, m三者 的结合
，
, m5 @: ^! D- V8 C% Z可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
: h0 V0 z' M2 g( C合
: I! B0 k. v6 }+ y* H成后 的 图像 与 输入 图 像相 比
( G8 M+ k' E8 f; S9 y6 l，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
' M+ C; u+ z% m/ `1 J
& `4 I+ C% K6 F9 Z4 }/ V
7 I" n  O; T+ ^9 h0 r
4 F+ j! _+ ^" F/ X" C+ H0 X
& z% z, ]0 \3 y8 Z
4 j1 [; ~. v) W, k! N