用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
% F; L$ i# N9 U! Z
  y) E! S- R) v随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
  X/ h' q+ W: R7 `( w  `- s尤 其是 基 于通用 图
" W( b$ t! h+ Q4 r% y形
* ?! k$ H) c4 b- ^- y9 u处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
3 r/ O: K6 U, n。
随着 基于
2 G+ r" V* B& ^6 r/ s* d- ]卷 积神 经网 络的深度 学 习 方法的 出 现
，
5 q* w& F- O) t+ q．
5 t" S( N' ~' U4 Y传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
* u2 W3 ]9 @8 t: p% d% |尤 其是 ２ ０ １ ６
- F$ t' t7 c6 F/ [年 以来
，
基于 生成对 抗网 络的 图像处理方法
1 X& X9 S6 O0 y$ @2 W，
, o7 t4 i% k7 M# g2 Y在传 统 的 图像识别
，
图像增强 和 图像分 割等
+ V: D7 A8 ~$ o" A7 R+ B# }  Y领域之外
，
还实现了 基于 先验知识 的 图 像合成
6 I* r3 l2 c( [，
2 I5 w/ G8 N( R1 h6 A; D' u$ J但 图像合成过程中 仍存在算法
, a* x4 |$ V- }: R% F( R! ]结
果不 容 易 收 敛
，
计算量大
，
6 A7 d+ O3 A. o" H% a优化速度慢
，
0 Q0 L) p$ J1 _, U7 y  \8 I/ x5 X图 像劣化 等 问 题
。
针对人脸 合成 图 像
，
! f( l  d3 }$ W% U. ^, w# Q; c* ?9 F9 E已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
" I& s+ j( `- c  b，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
  {8 Z" |9 K3 g  W9 g, B一
' a! X& i7 {3 B! W4 k  U致性等方面
，
% N$ I6 t/ P- e& S: H1 D5 A% H( A仍需进
一
# z$ F- Z; g- d: t! [步 研 究和解决
。
7 P7 n$ o$ G4 t本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
. l* }. N. ^% X% [0 s6 o成
了
３
个 阶段
* C0 Y3 N3 ?5 h7 M，
: ?* g/ \0 V9 S( ~' Q首先 是 图 像中 目 标主体 的分割
5 ~6 }. q0 S2 Z' g% q$ |6 \，
其次是 人脸图 像的合成
，
' ~/ X! y  z- z最后 是 图
7 s& B) W1 h) N- v像的 超分辨和 画质 增强
，
  x/ \0 ^" r( q1 g- |1 O实现 了 人 脸 图像生成算法的 识 别
9 `/ x, |' w! |，
分离
，
合成和 画 质 改
! K" [5 d+ {/ b7 M善 的 全过程
。
" j7 Q" i+ Q* Y; D% z' F; ]针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
5 ]1 i' w4 }. Z，
本文 主要解决
了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
7 m  B8 s) i+ b  Z3 O8 l，
主要
; B2 A, y: U, ^+ ?3 @$ k工
* V# T( _* S, z, ?作 内 容和 创新点 包括
：
１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
一
种快速图 像分割
& r! `* V4 i' I$ o, j算法
，
! f# o* i4 {" B) R* \/ n# C该 算 法通过逐层 二分法
一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
- l9 }7 ~" p( g3 q3 U  K，
5 u2 R( Z4 Y$ i同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
该算 法不同 于传统方法的 先 由 轮廓得
到
连续的 边界
，
再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
的
8 d+ O4 w  d" E形态学特征进行 目 标 区域 的划 分
，
  D/ H9 w' w7 a/ h减少 了 边缘分 析的计算时 间
& ?. s3 K; M3 v7 @% _* R2 z6 r，
且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
' i0 y/ z- Z& Q; v8 j0 t' g+ z，
具备很 好的鲁棒性
  S9 A; p$ K# @。
, O, B) N* N, K* @3 ]２ 、
. U: k* Y! F, Y0 W! D- Y6 Y从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
、
9 t4 t8 ^9 r: j缺失部分 补
全
等步 骤
，
/ H* i; ~0 @0 Z5 E基于 生成对抗网 络进行标准人 像 的合成
2 u; T) \( T" Y: Q; `，
合 成后 的 图像具有 特征点对
. F; V( O% U* K2 F0 A3 S9 g齐
' o  j0 b/ s1 P  g" q后 的 人脸位置
+ ~7 J/ N, c4 o7 R. A4 N. l" g' N，
且脸部 及肩 部
0 _5 a# T4 u$ X5 P) x. \% J0 a、
上半身 等部 分都具有 统
% ^0 T) ^7 q& g. D一
的 分 割与合成 效果
/ l/ D, y5 j4 P' J- a3 _" w% C。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
. K0 `4 E% K# `  V' d" V，
可以 实 现人脸 图 像 的标准
& N3 E) r9 p$ ^$ P  G! v% D- ~# C7 s化
' a1 }5 w9 x( {，
. d% L: u8 @( m同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
5 n2 \4 g& k( o' L$ f$ ^; _! s。
# J1 C) h1 [4 g/ {) N' N+ r该 算法可以 作为人脸
5 Z! X9 Y" f) A0 `7 I7 L识
别 后 的 处 理步骤
/ o* E2 m& j( m& R* M. ~3 H/ ~，
处理后 的 人脸图 像 相 比 原 图 像具 有更
; U: [. c" r* G( y' ~9 J% N一
致的 图 像模式和对 齐
后 的人脸特征 区 域
! i( A+ J' F$ t; x，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
8 n! T6 L) M5 l: v- ?. I$ y; D现
! v, O1 {4 i" m  I有 人脸识 别 与分割 算法的 效 果
。
: p) K/ e: j. K! c! V2 I３ 、
" V9 k# A( B4 ^+ v: H" m最 后本 文提 出 了
- B+ M6 U( }, @4 x! y一
& ~: e/ k7 G" r- A6 i种 针对人脸 图像进行优化 的 超分辨算 法
" R/ Q9 J& G) X* J' G; o6 H$ R，
: G+ e" X0 F1 r相 比 于现有
7 V0 t' v9 h+ n1 q) U的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
; I: s1 M& k% @( O，
在关注合成 图像的 质 量
Ｉ摘 要
和更加 细致 自 然细 节 的 同 时
，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
% v' H2 Z6 B& j: ?4 j一
. M: \( a! v* V7 D. x" F$ ^致
! {+ g4 v8 O0 [7 I4 L- z) s的
% X, b; o1 [7 F( w" B- }人脸身 份信 息
0 j+ D' O, r1 R0 ?, z。
算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
，
可
% ?" c' w+ q( c! J" g- V- {9 e8 t* T5 k以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
) f" z4 S' {2 E7 b+ n% E，
# M' u8 g8 d# o4 f( n6 I; ~8 Y将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
% p/ I9 N) R* A) }) ]人脸信 息 的 高分辨率图像
，
6 _6 A1 q  r9 Q: e0 Z2 ~8 O同 时算 法具有很好的适应性 和 鲁棒 性
) g9 B( n6 U$ X，
对于 不 同数 据
4 A. f* O, q" t9 L* f库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
8 u! j. |8 G4 g* B4 B+ M' u该 算法采用 了
! d, ~2 M5 \7 V' Q- k2 G: J一
2 R" m4 s$ v9 m' y种 端 到 端的 灵
9 P8 o7 T: Q5 B4 P& l# y活
  L! I! j6 ~" f% V/ N的层叠式结构
! G* n/ I5 X% `- @- J! z，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
$ z2 j8 }8 ^1 q2 f。
$ J. J, D7 k& ?４ 、
& i4 U# c/ M6 `& |  W2 N本 文在人 脸合成 图像的 对 比过程中
. o8 b7 H. ^6 g3 t: X，
提 出 了 使用 Ｆ Ｉ
% V) j8 ^8 O6 R: {; JＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
+ B1 s0 d, V2 p  _2 t# m' VＰＳＮＲ
（ Ｐｅａｋ
Ｓ
/ s- g, A( W% ~. C+ Z( |ｉ
ｇｎａ
( g1 H8 P: E- Z. Oｌ
- T/ k* s0 Y# O/ e4 G/ h! t－
" p! F; E: }$ c' |% Bｔｏ
6 z: L/ k( t9 b3 v－
$ O6 u4 [1 f, CＮｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
）
; @: Z/ T6 s7 J  b和
& F' ?( c/ G8 D, r2 C, fＳ ＳＩ
6 e" b& D7 [/ aＭ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
6 N) T' n7 M" |1 q# r% K7 R－
2 x  n0 Q, w' m0 N0 Wｉ ｌ
6 K" S8 v- _4 E/ X, Fａｒｉ ｔｙ
ｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
, O5 X& y$ r6 r; L' j4 E; \5 d- g，
因 为 ＦＩ
: |( i, M: M9 E7 j5 Z6 ^Ｄ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
0 \/ n: N/ k8 j6 i+ x4 t$ K，
同 时通过全局 特征 信 息 的统
; o7 `9 s' m& k6 W, O" ~! U计得到 图像整 体的合 成效果 与 原图像的对 比
  c5 Y& j' i. S' T6 J。
Ｐ ＳＮＲ 和
ＳＳＩ
Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
1 Y3 V: ?' I& [1 w，
- r/ O- U" e& Z3 T细节质量等局部信 息
。
. ^8 W" J! s7 |/ q$ O通
0 n, d5 u5 H+ m过
三者 的结合
# K) M4 U4 N% w: q( \  k7 M" N，
, M0 c! X6 O) [' }9 b4 H: u* H可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
; W5 q" v: ^* o$ K* _合
8 W$ d+ k3 f/ w6 `& H# S成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留

5 _0 ]3 p5 Z4 d% }# M0 J( I

8 T5 n, Y7 y' ?, n, x

6 G: t! ]4 }0 e) x# O" y9 l