用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

) S# m# P3 W# g随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
" J5 ^; n- H$ m+ k3 H$ k2 s，
, e: ]9 R6 E' h2 i机器学习 领域获得 了 快速的进 步
' [5 ~, u5 l6 p6 {& ^。
随着 基于
+ e& p) o3 Q  V卷 积神 经网 络的深度 学 习 方法的 出 现
- N+ r& j8 A! T! O* _2 [，
. \" m" K7 K% X0 Z& w．
- ^: a  M3 V& R% N+ T0 I$ A" @0 r! o( x传 统 的基于 数学 模型 的机器学 习 算 法在
+ v  e& C3 e2 t/ \% o很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
5 D6 S6 j" w0 |, |尤 其是 ２ ０ １ ６
5 c$ c9 u8 g# z; ]9 q/ n. J& Y年 以来
3 w  V4 M0 Y) O, D，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
1 `& L4 @) H# n: w5 V3 p- P3 f，
* l1 f# O& }3 y) A! z: N图像增强 和 图像分 割等
领域之外
1 Q  l& _; g4 _, i，
还实现了 基于 先验知识 的 图 像合成
) y1 _' v; ~8 o: ]* x7 B，
但 图像合成过程中 仍存在算法
# \9 H" G& l# P' x' R结
果不 容 易 收 敛
: a5 K6 G5 U& h# L/ ]6 y: s' }/ m，
& _. ^' {& {; p7 r计算量大
，
优化速度慢
; P% M* C* }6 X, n7 W) y1 a，
图 像劣化 等 问 题
。
针对人脸 合成 图 像
$ C  A  _0 B) j) d0 a2 H，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
6 v1 A) Y, W. s. ~/ y9 x一
6 c' Q% Q, D* j3 s+ c致性等方面
; p4 @" }4 `" N. ^' F7 P- e% A，
' g+ |! }" I+ Z+ s  W仍需进
% Y, G$ O6 v9 u! T一
" \5 E, x0 Z% T- z- ~步 研 究和解决
# D( \& ]2 j: R。
* E6 U( R9 u' V& H$ K3 Y, j+ O1 {本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
, l$ m' l* y. W$ g  l# u, o( N9 z  O，
将合 成过程分
, \3 C. \* o: _成
了
1 N. l4 |- G; e1 g３
个 阶段
" G8 P) R$ M2 T6 X* t. O1 R，
首先 是 图 像中 目 标主体 的分割
，
5 D! }$ x0 Y8 j) z其次是 人脸图 像的合成
5 _, X) a( a1 Q1 ?，
' M! k$ w- l1 \/ L5 K* q7 k: g2 i最后 是 图
像的 超分辨和 画质 增强
" q4 t" v6 u+ i4 j，
1 k+ U2 R7 W' Q实现 了 人 脸 图像生成算法的 识 别
- I" s" d" D) u: S，
9 x8 k. s% J- r分离
# `5 H6 }3 M( ]! U9 W. {( U，
+ u) }: x: c5 c1 c6 h1 l) D1 ^1 n' L" a2 r合成和 画 质 改
7 p5 o; P% L) g5 q5 _善 的 全过程
' R5 y8 b' ~: ^& u; x0 K5 o。
9 ^- u( w' K3 B$ t- T( ]0 l0 M) `针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
: R9 W7 N; o/ a9 ]; i，
% C: y$ B' X# h; `, w( r本文 主要解决
了
3 @" I% Y( G6 `7 F/ Z- f5 Q; x  Q人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
5 c2 G2 H8 V% g4 n" f/ L，
主要
; M  w' s# N0 X" t8 ?, M1 _  b5 _工
作 内 容和 创新点 包括
：
) C$ m& y$ S, ^* o+ i. r2 s& F* D. t, ]１ 、
8 l" L: s0 U! @3 h5 p基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
9 H! c! ^+ Z  q" s$ u8 O. D一
种快速图 像分割
算法
4 C8 _3 q3 h# z% d3 L" U，
  T' e" _) t- q该 算 法通过逐层 二分法
) n$ r* U* h' [: a" c9 Y4 b7 K一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
0 [# L; T1 z: J，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
8 u! _4 X, R" ]1 C* w: Z。
该算 法不同 于传统方法的 先 由 轮廓得
到
连续的 边界
，
再得 到分割 区 域的 做 法
，
& a& Z* k" |) s  ]而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
，
* p. ]0 Y+ u( D5 P. ?4 P减少 了 边缘分 析的计算时 间
，
且对 目 标 区 域
+ w! n! l# k/ E& j! @$ G$ G进
行分 割 的同 时 即 可得到相 应 的 区域边界
，
; y4 G- O$ s  J2 O5 T3 b具备很 好的鲁棒性
。
２ 、
2 d  J* \6 h0 H3 M+ D# |从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
, F: L: s1 p' y4 {& f! M、
+ O, X: X- D- x) ^" U4 B, a+ C  ~缺失部分 补
全
0 Z0 d; [6 E  h, B# B9 l等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
齐
( U, `' f- Y8 H& s; y# [! E后 的 人脸位置
，
' [* e/ E: y4 X! r# V且脸部 及肩 部
7 r% C8 t3 q$ E3 }" [6 i9 _9 k、
# W3 C$ ~5 K+ k. v4 _- ^+ h上半身 等部 分都具有 统
一
的 分 割与合成 效果
/ p8 z* b9 r! u7 Q* F, c3 S: D  A2 y4 [。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
$ p0 u7 u8 C: Q( G' R5 X1 {7 V可以 实 现人脸 图 像 的标准
化
8 |4 T- v( g6 v3 W! D! C5 W，
$ g2 o1 W& [3 N. T同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
* D1 s0 ?! y3 p7 ~" a8 u。
; m7 `" o( |" H+ s# _) f该 算法可以 作为人脸
2 S% n( S8 G2 G" }6 J识
5 |4 n4 `3 v- b% k. `; x别 后 的 处 理步骤
% ^9 p- j. X) d  j& T! T) m，
处理后 的 人脸图 像 相 比 原 图 像具 有更
% r+ @9 o0 Z" a2 _5 j6 u一
致的 图 像模式和对 齐
4 G8 V( l* `* ^后 的人脸特征 区 域
' H& l! {# q1 X，
* y* B- Q$ k) v" _同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
0 k/ ^2 [- J2 g- x: s+ \) R，
有效改 善
7 d7 [; A7 ~% H+ g) V% y) f9 Q  m( k现
6 q3 |1 a; p- C. i) [% n) h# F有 人脸识 别 与分割 算法的 效 果
。
３ 、
/ J* Y* M$ G5 m+ F4 a- s2 b2 P8 c2 ~( Z最 后本 文提 出 了
* \- K+ P" g9 s8 y一
4 w+ H4 V9 r  H) i3 [5 f种 针对人脸 图像进行优化 的 超分辨算 法
，
8 G# f9 ]0 s7 A相 比 于现有
5 M, j: {7 x2 T) `4 n的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
2 M2 v, N* v, X, j. s3 Z$ t，
! L/ E" E- D3 _在关注合成 图像的 质 量
Ｉ摘 要
. |- p7 D8 P6 S: X* {/ W和更加 细致 自 然细 节 的 同 时
，
+ ~( [- _3 d3 q2 v更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
  n3 j; Q# h0 k的
3 K6 i3 D1 l: a$ [人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
2 S7 `1 n4 V! S  t* T，
实现 了 上 述 目 标
! t; Z( W+ P  P6 G，
5 |8 o9 P3 h" B6 ^& D可
9 z9 P1 t' q, h5 V+ }以
3 l0 Y- H( x6 A4 m2 ]- u实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
! K2 _$ t3 s6 Q) z* T- K- J, ]，
& _+ n6 L; W8 D5 [* [" M对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
1 y2 z& K# p% j7 D一
; S( ~9 a" Q4 G# w6 @$ A种 端 到 端的 灵
; R$ f4 N7 z/ w9 x活
的层叠式结构
，
; o3 r& @( r9 T* `0 [可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
4 O$ p7 S! r9 R8 G4 c４ 、
本 文在人 脸合成 图像的 对 比过程中
，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
0 K  V2 M9 U% ?& O  Z( Hｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
; W3 e% j! t: _% k) h+ sＰＳＮＲ
) t# w4 N3 _$ |4 w8 p（ Ｐｅａｋ
Ｓ
ｉ
ｇｎａ
3 Q. J$ C; f" `+ P) {" eｌ
－
ｔｏ
－
Ｎｏ
ｉ ｓｅ Ｒａｔｉ
- P1 `9 M9 o$ J, l+ c4 ]ｏ
）
: g" w- a- c2 {- x2 a1 l和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
% ?" K9 V$ v- E7 Xｍ
－
/ N3 g0 F& r, \* I2 j+ v9 W7 \ｉ ｌ
ａｒｉ ｔｙ
/ Z2 S9 j5 T* V$ A- Qｉ
9 q3 L! S8 H; s$ N# @- R6 ?% oｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
4 }& B& n1 c. rＤ 值能
  i* [4 f5 t7 o+ n够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
6 ?& c; _; B9 b1 a  K' b，
3 q7 f7 [) h( b0 k" U" \同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
) n- W# D8 r8 U* }& H) Z, ^5 D4 r。
Ｐ ＳＮＲ 和
ＳＳＩ
$ z- u" p) ~! e3 q$ R9 `. YＭ 则作为 图 像局 部细
- k7 G7 ~1 {& l/ N" u5 J节特征 的评价标准更适用 于评价 图像本身 的清 晰度
1 M" s$ ~5 d* X; @+ h, E4 P，
细节质量等局部信 息
。
通
过
4 j0 w+ |' [$ D  i$ K6 ]三者 的结合
$ |1 @% m; O2 o6 u  L* y，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
) x* [9 L7 O1 Y; w合
成后 的 图像 与 输入 图 像相 比
，
" u( W3 ?/ V  d* y其 中 的人物身 份特征是 否能 够得 到更好 的 保留

& I0 q: B$ Y- E8 D, j- {

$ _6 A7 D7 I+ W8 a

" R% o( W+ _% ?0 ~0 r