用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
; l4 [  n5 M! R: O) @& o. X- _
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
! J. ^6 c; h1 i, o8 W( R' {  d形
/ N4 C$ t/ o/ h0 @处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
。
2 \2 Z1 V5 a+ T  x% ~/ D* i随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
! f$ o) s* c9 M+ p2 I- G+ c．
$ C$ ?  d8 ?, @0 c传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
7 ]1 W2 {; P& Y  s* @+ Z，
尤 其是 ２ ０ １ ６
( ?1 ^6 ^: @+ a3 c& F+ g年 以来
，
) o6 v5 q5 k3 R3 K, B' v' K8 @基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
9 T- i2 c+ i/ O& H1 l，
图像增强 和 图像分 割等
领域之外
) l/ @% r; E! B1 K! ?，
还实现了 基于 先验知识 的 图 像合成
; L9 M1 F- p8 @% g，
但 图像合成过程中 仍存在算法
5 l. |# a& |2 e$ W* t结
果不 容 易 收 敛
，
: b5 [4 t1 i: S9 c2 C( o计算量大
，
( R+ K' J6 R# z4 w( M' }优化速度慢
，
图 像劣化 等 问 题
- @2 y# a  j$ c+ H9 |1 H) D& L。
& D+ Y" X3 E) w9 I( I针对人脸 合成 图 像
: M; R% Q7 f% y. z6 p，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
- B9 T9 T9 ]- G: _+ {7 N5 a，
: @' @0 C+ L9 X% Z6 q" G+ w而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
* L- U; Y) G4 }，
仍需进
1 `. _" N4 M4 J# t$ l; o$ W一
7 v, k3 r0 T1 K' S6 w/ C步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
2 @" u! Z/ Y, m5 D4 M将合 成过程分
成
# U, H& u" J" x. Q- d( ^( F( s了
; D( j& A; I- J; f３
8 q. c. s# E. @& h0 q) `4 ?! F个 阶段
，
: V( L; T) Z/ V3 f1 t2 I2 w首先 是 图 像中 目 标主体 的分割
，
8 J' Q/ y9 E$ V$ I! W# u其次是 人脸图 像的合成
. q: ~& e8 K: _7 [0 o0 P5 {* Q，
最后 是 图
6 r; s# R- X: o像的 超分辨和 画质 增强
，
实现 了 人 脸 图像生成算法的 识 别
$ t# m3 N5 N! b& d- B，
. `: e7 Z, e/ B, x1 t/ R9 Z分离
) G# v5 }: O; }2 V- \) O，
8 ^, F* L) n! m$ _合成和 画 质 改
善 的 全过程
。
/ y, ^4 F  k! w# N- Y针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
- n) T# e0 Y: s7 M: o" G+ U* d了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
  a1 b) y' Y+ e/ E# \7 B- x) Q7 N主要
, v5 ^# E( m- J5 X- O5 Z( W工
作 内 容和 创新点 包括
8 l( S. a% p% K! N) g8 {8 S" g! {：
2 K6 j9 e/ U  l１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
一
种快速图 像分割
6 c6 d3 T( r# i' p: O算法
, q! `' |1 y; Z, [; d- f，
该 算 法通过逐层 二分法
( ]  C( h/ s  ~+ a- j  W, ]一
0 _  y" ]1 o' v7 z/ B次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
8 V& [1 W' r4 O，
) z( e0 j  f( m2 r7 ?3 Y同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
% M2 l' p+ o# p  u  W5 r该算 法不同 于传统方法的 先 由 轮廓得
到
; @6 N( F6 f( b/ @连续的 边界
，
+ Q3 }1 C2 L: V再得 到分割 区 域的 做 法
3 P$ s8 t$ D7 z. S4 a: A8 S/ e0 v，
3 J/ ]8 m  s( H2 L6 g6 B而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
，
( a) j) {. b% j且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
，
具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
2 B; n( u6 V; S$ w8 M3 j" o( G，
: K. r: F5 Z, u9 {4 Z经过背景 虚化
、
$ d5 N9 N0 P: L7 `7 u+ D缺失部分 补
% e2 }* |# I+ ?9 r% \9 t& h2 {全
9 L& S! H! a) `9 k. V等步 骤
，
, K% A: |# g% f' V0 L基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
& }# A) ?. L$ |3 O: G( D0 J齐
8 x3 Y* q9 G% B- C后 的 人脸位置
" m; Y2 u/ ~. L，
' r- x% N2 J; x; F且脸部 及肩 部
& u% ]2 l: i- W、
; P/ g& X0 S5 W  g+ _( W+ m上半身 等部 分都具有 统
3 Z& d9 ^% K) ]; H# n0 Y一
. `+ b' q! o) \3 X" r9 z的 分 割与合成 效果
。
1 d' ]6 C, z5 g& P2 Q! x* e该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
) P( w2 Z2 c' J; a9 B6 o，
可以 实 现人脸 图 像 的标准
, _" X# N; C  B4 Z4 J化
8 n/ G, L6 U* r+ I* k1 t4 t，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
& ~; S  F1 p  e& F7 v。
% E8 e+ s/ g# h1 u+ y/ X该 算法可以 作为人脸
识
别 后 的 处 理步骤
- A7 e% M+ V$ b. D5 \( v，
) v1 L+ E$ P+ e% ?! y1 T9 F处理后 的 人脸图 像 相 比 原 图 像具 有更
7 W) h; ]3 B2 }( i1 K一
; }" P6 o. I& o$ t4 W: z5 y% X' U致的 图 像模式和对 齐
后 的人脸特征 区 域
! }# z; D  U! k3 W$ M0 p  U，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
/ h, H2 y+ S: f, m7 j1 r1 U，
有效改 善
3 O' B3 j8 }4 O9 Z1 M$ ~* v现
有 人脸识 别 与分割 算法的 效 果
2 V4 a& h& O, \% g0 w。
３ 、
最 后本 文提 出 了
" T( l6 A% c( M8 ~" _一
3 E6 R  ?' [$ o& x7 }种 针对人脸 图像进行优化 的 超分辨算 法
) Q. h/ v8 u) R: k% L% N" W+ |，
相 比 于现有
' r1 `' e7 N, F( {. v的 图 像超分辨算法
. L+ e; a' `- l( W/ i3 A，
该算 法在图 像 的超分辨合成过程中
，
" G. d4 R" p* r- G在关注合成 图像的 质 量
Ｉ摘 要
和更加 细致 自 然细 节 的 同 时
6 P- m2 \9 d2 A8 ^，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
- G( }* C, C( k: j" R. x: c的
人脸身 份信 息
。
% g8 X) D; m2 {" q! Y9 [4 L3 ]算法通过引 入 生成对抗 网络和残差 网 络
, S! k9 R- o" X9 `，
5 z4 }7 @# E7 S. m9 a+ T4 ]: R0 z8 Z实现 了 上 述 目 标
，
* z) l7 |7 S0 v3 _( W6 c可
以
4 V9 E4 f5 W: o实 现图像 的 ４ 倍甚至 ８
& I# S; k( Z( f+ H2 x9 k! E9 t倍的 放大
，
- L; j! y( ^# I7 H  B  q4 A8 e将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
. _8 z5 u& m. _$ n" N! g，
同 时算 法具有很好的适应性 和 鲁棒 性
，
' u  _2 L% ^) I3 ~0 y0 y- o9 W对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
. e+ q, K% E3 T6 P) X一
种 端 到 端的 灵
活
, c9 L2 I. M' U9 v- q% k6 d4 o的层叠式结构
; {. U2 C  c3 S  p，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
' g: I+ A  J( D7 X, s* [４ 、
本 文在人 脸合成 图像的 对 比过程中
6 b+ P6 p7 u! U2 F7 ^/ n，
4 M, `  d4 `7 x$ z% z. N4 t( X5 ~提 出 了 使用 Ｆ Ｉ
$ v& H5 E) O& p- [- M; x3 \/ bＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
* h5 X+ R9 v. t, U3 J/ e6 Y$ P- bｏｎ
Ｄ
# ]6 T5 s, w5 h* A% X8 lｉ ｓ ｔａｎｃｅ ）
' @3 j6 p; s' d% J代替 以往 的
' G8 n2 m* M/ A4 l. z0 XＰＳＮＲ
（ Ｐｅａｋ
  A2 W) ~" h2 m$ i' J$ T9 [5 s+ NＳ
ｉ
' n5 W( A& l8 X0 c: D$ nｇｎａ
! T0 A# M- P" p% r8 `" }6 ~ｌ
－
2 L* j4 K; q) Yｔｏ
－
5 @: e9 R$ T- }9 z# [5 rＮｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
. e; f: j% w  T4 [: v# v）
和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
3 E- l# O5 a& v& g# Lｌ ｓｉ
ｍ
! i2 F  Z7 g: x  k2 U－
2 ~% O2 S0 [" g. W7 {4 \ｉ ｌ
, ]7 n  C9 I" Z& C/ b4 Z# q3 @% Jａｒｉ ｔｙ
ｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
. W( J$ e- N# d. a9 Q4 M，
因 为 ＦＩ
Ｄ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
3 Y$ ~7 E, d) c% i- |7 I# [。
Ｐ ＳＮＲ 和
ＳＳＩ
Ｍ 则作为 图 像局 部细
' H* b! f, K$ \8 ]4 U4 R节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
。
- x! D$ V! Y4 ]% L0 _7 V通
过
0 |7 b4 _: e" o% k三者 的结合
，
( y4 q, y* |8 J& ?( ^$ W5 k& O可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
( f. @: I0 k( a! K. a同时 评价
合
成后 的 图像 与 输入 图 像相 比
( \- |" y  b: K% D' ]4 y，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留


9 J0 o# e7 {: \$ G$ W

  }# P5 ^; c" r+ E
0 o4 R" Y% e) p8 P5 x, _