用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
6 m0 R0 J/ m/ J6 V) ?/ u( x
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
% y7 X+ y3 ~' `) b$ s' n形
9 v0 ]& J% S! ~处理器 的并行计算技 术的快速发展
! r& Y( ]- x) r3 T，
, a$ f1 K9 ?( Q: n机器学习 领域获得 了 快速的进 步
7 ^7 w5 |- x8 `1 D。
随着 基于
( P" [( ~  w# u. c+ Y  f/ T卷 积神 经网 络的深度 学 习 方法的 出 现
2 w9 {2 P0 G' \) `( s5 f; @# \- L- r，
; v" c/ _- ?5 I/ x$ C．
传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
. h: H# ^8 `5 ]% }% g, d9 Y，
3 M6 S- s* ^, `尤 其是 ２ ０ １ ６
年 以来
，
- i0 Z2 c$ v/ e  t. j8 F2 X基于 生成对 抗网 络的 图像处理方法
，
  y, n$ e; N7 F! M, m0 a5 s在传 统 的 图像识别
，
图像增强 和 图像分 割等
领域之外
% [2 D: p* r. r' f- K! ?) [0 O，
5 u" r: s7 c" X8 z  B. _9 a' [还实现了 基于 先验知识 的 图 像合成
! x; C& j( T4 `6 k8 g，
7 S  U2 W2 ]4 H0 V/ Q但 图像合成过程中 仍存在算法
% w) J$ ^7 O$ o, W: _6 ^结
果不 容 易 收 敛
' H# Q+ v' Q. U! O: f; Y5 h，
3 `/ ]1 w/ S. A: ?1 ~' ]计算量大
，
优化速度慢
6 }3 E' k+ d6 s; c) c' `' _, U2 b& z，
图 像劣化 等 问 题
。
针对人脸 合成 图 像
8 T/ @+ r  O  ?1 y2 v( p3 i，
/ e# ~" x) ^0 y! h已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
- U# C1 g3 }, l$ I，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
9 [9 m! }2 V2 N; T3 u! e/ X，
2 r9 I7 T" v9 J5 D仍需进
+ D. R0 |; @( @3 l一
# ]/ ?9 U* t( G2 {* I; Y步 研 究和解决
- x0 h6 y8 H! A5 K& B。
9 V& }2 d$ q- t# V8 d! A本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
, I( y# s: a7 e将合 成过程分
9 z, T+ k) j, j9 m- }  ]成
- d, D1 V8 S8 v. k) C  R了
３
. p8 k6 r/ B. p6 f4 w# I个 阶段
，
首先 是 图 像中 目 标主体 的分割
，
# |2 D1 u1 r  D4 ]9 {! P, C% Y其次是 人脸图 像的合成
6 T9 @# W$ Y/ n4 I，
( v( v) C8 z$ r" C/ D1 m最后 是 图
+ g' Z& x7 S5 n( g像的 超分辨和 画质 增强
' G! m: F% _5 l$ p( h1 L' }" A2 C' e3 Q，
实现 了 人 脸 图像生成算法的 识 别
，
5 \$ `' W; x) X  M, Z分离
2 M% ^4 ~4 b1 R2 P/ h! ]; g，
5 h/ q+ w! F# V8 C0 v  t合成和 画 质 改
8 l3 H: R6 |4 ]! B" V善 的 全过程
。
# L" ?) s- _" N$ g# j# M针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
7 T# `6 N9 h  F4 ]! q* |( q了
7 M% s/ {( k0 y人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
) s# o# ~# y; d) H. P" |' S4 |5 \主要
工
2 L4 x4 U! U2 ^+ ]  T  R6 D作 内 容和 创新点 包括
" X( h  ?  j: u* ~/ {/ Q, {：
0 T' J& o# A9 C* m7 B１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
4 b3 b* \' m! Y: p# a，
1 t. Z7 m: u, e设计 了
一
. ]6 w  @) u0 D. ~, ^0 M. \) L# r  `  u种快速图 像分割
算法
* l4 `6 U4 m+ j% P，
该 算 法通过逐层 二分法
. Q9 k: x8 ^& m- k5 B4 O一
: l# a& G+ w/ a+ j$ U! d次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
) E$ L  [) o; W5 W+ K# o  B同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
该算 法不同 于传统方法的 先 由 轮廓得
& d4 ~- }, Z2 o到
连续的 边界
7 C6 ^+ D' o  [，
再得 到分割 区 域的 做 法
，
' u2 L, J8 _( _! z4 {3 ~: R2 a; c而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
+ q  v  }% }0 ~2 y; q! H4 H+ t! c，
减少 了 边缘分 析的计算时 间
4 g4 o7 W% c$ T# w  ?( |' @, v5 u: b，
且对 目 标 区 域
+ {. W7 Y# x5 _% Y$ M/ Q进
行分 割 的同 时 即 可得到相 应 的 区域边界
  h7 Y. N( B6 P; m) P; c3 t6 v, [- p; a，
具备很 好的鲁棒性
9 [. d& k9 g5 g' l。
" d1 a* U- d" P2 V. \! }( _２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
" V( \  X3 |+ Z& |，
经过背景 虚化
9 e: _$ Z- R# S, t、
, K1 h" m/ I+ `& k! `+ G3 ^缺失部分 补
4 T) \  Q. I2 I8 ^) y! i9 b全
  S$ b9 Q' O9 e6 b; T* _  ^$ g. s等步 骤
，
9 k4 j/ s/ q* y2 ]  e" }; [基于 生成对抗网 络进行标准人 像 的合成
9 F& y, d6 ?5 t- q- W3 k，
6 P" W5 @$ b# x) k$ ~% t0 N1 B合 成后 的 图像具有 特征点对
' ~' S4 ?0 D6 Z- }  R齐
后 的 人脸位置
，
且脸部 及肩 部
、
+ b- {4 b6 r. D) r上半身 等部 分都具有 统
2 l2 V% j( e6 G4 `, P+ o7 y一
5 c" C8 l2 D; J3 p的 分 割与合成 效果
. @2 x' x' R: r2 j4 C。
8 h1 t5 E' p  E9 m; S  H该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
1 J7 Y/ ]/ I! {+ J可以 实 现人脸 图 像 的标准
化
，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
# j  O* X+ }* I4 U5 [% f7 J. A该 算法可以 作为人脸
识
" Y) W$ u9 g- Z  c) h: O别 后 的 处 理步骤
，
- Y3 d& }) O/ |处理后 的 人脸图 像 相 比 原 图 像具 有更
一
致的 图 像模式和对 齐
后 的人脸特征 区 域
，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
5 r, w9 e: s. f6 F，
$ ?7 T# N- B5 Q) _有效改 善
% V6 l+ B( E: l3 f; i3 D/ }( e现
有 人脸识 别 与分割 算法的 效 果
  m3 M. f2 t& q/ z! b。
３ 、
最 后本 文提 出 了
9 }. W: C3 P% G5 z/ a, d5 L一
种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
的 图 像超分辨算法
: F# c% H! P) a; h! L，
该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
Ｉ摘 要
和更加 细致 自 然细 节 的 同 时
* K5 q. k3 D9 }0 J( F% ]0 f1 K，
+ Y% k4 {5 j4 W0 [4 ^( _更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
& E/ c8 c3 ^) R$ S9 k9 U. q一
( K6 I  g8 r5 h, G: M: M6 v# g致
的
/ Z$ t( V; F+ L- o4 _+ @) Y' T人脸身 份信 息
。
) j' ^! n0 ?' Z6 m" B算法通过引 入 生成对抗 网络和残差 网 络
，
" J5 g; }' ]: f实现 了 上 述 目 标
7 z- s# K5 N' Z* \+ t+ A，
可
以
) s0 V" p: l4 |$ O, j* V实 现图像 的 ４ 倍甚至 ８
倍的 放大
# \: g! G$ A3 l3 K/ \，
5 l9 l, m& k4 O7 }将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
，
" Q  Z) o- s8 O# z& o& M对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
4 ^0 L1 a3 K& f) J一
种 端 到 端的 灵
活
的层叠式结构
，
. a. P4 u. {$ [0 a1 T* _6 O1 s可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
) `( E) k$ ^& y- z+ T# W。
４ 、
. p& h- K) W0 l8 l+ u" p* M1 D$ G本 文在人 脸合成 图像的 对 比过程中
，
提 出 了 使用 Ｆ Ｉ
' r7 ]0 i) u0 Y5 j2 ^Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
+ M9 v& Z* i1 S" [: q  D& a2 \( r# [Ｄ
ｉ ｓ ｔａｎｃｅ ）
) o4 a* `9 M/ Q" ?; L5 b代替 以往 的
ＰＳＮＲ
（ Ｐｅａｋ
0 @( t3 `! N! e  a; @  _. z8 A3 VＳ
& Q$ l. I+ y7 W5 K5 Lｉ
ｇｎａ
ｌ
－
" ]( @$ E/ A1 y( \5 F+ Xｔｏ
－
Ｎｏ
% s9 K' _4 [/ L, B8 I& Nｉ ｓｅ Ｒａｔｉ
ｏ
）
和
0 |1 ?. o5 @4 p3 b  m7 JＳ ＳＩ
; b, T6 F# Y+ a1 [8 R; YＭ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
% r( c* V& ~) @－
ｉ ｌ
ａｒｉ ｔｙ
- b9 e5 O8 H+ Z: y6 ^* A, p; Pｉ
- x, ~: d; U# Kｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
1 w$ Z3 T8 _) Q& ?8 S9 a* `) p，
: g; E/ H7 |* J3 K- T4 g) R因 为 ＦＩ
Ｄ 值能
1 b2 ]2 t" `; X/ J( a, T够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
。
+ i& z, [( _) P8 FＰ ＳＮＲ 和
; [8 C, h7 U8 Y/ x! E1 {ＳＳＩ
Ｍ 则作为 图 像局 部细
2 N& d8 u* j9 l  h) Z节特征 的评价标准更适用 于评价 图像本身 的清 晰度
2 a3 e/ g* H/ G8 g，
; [9 ]2 G5 r( Z2 S, u细节质量等局部信 息
- T3 V* c6 T+ x" l0 N# W。
# u; N% z" z# |5 Z+ m7 `通
过
三者 的结合
( \4 m$ D2 u- \，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
$ s  [" b3 I; x) }6 e/ o1 q，
同时 评价
合
$ R+ S1 x' v' h" S' C成后 的 图像 与 输入 图 像相 比
，
4 c4 ]8 E: I0 ^9 W7 ]8 s4 Y其 中 的人物身 份特征是 否能 够得 到更好 的 保留
) ~- r4 A2 `, ]6 p
0 W# x! c+ s+ H8 M4 j/ J" b