用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
6 B# n$ `0 |& Y  i
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
，
机器学习 领域获得 了 快速的进 步
。
随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
，
．
: P7 T$ m3 I, t, i传 统 的基于 数学 模型 的机器学 习 算 法在
' D: M$ a: b) S) E/ B很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
( I- ]. R$ Y. C8 a1 ]，
尤 其是 ２ ０ １ ６
年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
4 O, ^% I* F' |6 K$ u在传 统 的 图像识别
，
图像增强 和 图像分 割等
+ B$ R, V9 ?0 Q' W5 D4 H领域之外
. n. I* ?9 B+ k# D, D+ [+ ]，
还实现了 基于 先验知识 的 图 像合成
* d9 G: @% t* H0 |4 q4 x，
6 R; ^. f# f. m+ [2 g' B$ W4 e% a但 图像合成过程中 仍存在算法
0 T% S5 s" d) y% k3 A" \结
4 y; x  N3 i, f+ Q- q7 V9 J( D果不 容 易 收 敛
$ _% H0 e/ d/ G，
计算量大
6 A% }) n  M5 N，
1 {  `' @! Q4 h: @  d优化速度慢
，
! V+ f7 ^0 m/ n4 j2 [1 s图 像劣化 等 问 题
。
针对人脸 合成 图 像
" K' j! K2 Z% P8 }' Z1 @0 H，
* l! j$ K1 C# o8 v已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
7 l) [8 J: i( f1 f2 p，
3 l  |: S( Z3 I* P而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
- E$ a7 y8 `+ p* l: P, I8 f# h9 y7 _' f致性等方面
，
; X8 x8 S4 o7 C# ~9 ^  j' y; R) C仍需进
一
" ?  L! W( g+ g) m. G( U步 研 究和解决
。
& s5 u5 ^: e$ h6 R5 x5 P本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
/ x9 N" U( K& g8 r; B- \" K) ?4 ]将合 成过程分
6 Q: V- Q/ T$ L成
: [2 ~! Y  I: g5 g2 u了
; ^6 q- z( K* K0 v% f7 `３
% {" ]8 f6 H$ e/ o0 ]2 J- Y' n" p个 阶段
，
首先 是 图 像中 目 标主体 的分割
! {/ D6 j% i* W, D5 ^，
其次是 人脸图 像的合成
，
最后 是 图
, u* H. a' N3 W4 {* |8 b6 z像的 超分辨和 画质 增强
，
' T0 @* Z: A% K  o' P# ^) }+ ~$ U3 A实现 了 人 脸 图像生成算法的 识 别
，
0 h& e& o! k$ Z* c, b' B分离
3 |6 }! ]) n6 I# H) D) G, E，
合成和 画 质 改
善 的 全过程
。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
5 w; O* e  A0 {0 u，
  Y$ Q" }, [" x4 o$ R本文 主要解决
: G3 P" t/ z& g2 o0 D了
* t: h, [/ N3 P4 h& ]/ }9 @人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
/ Z* J$ p1 e: U. @/ }主要
; `8 m) m& j  A% b7 G# x( W工
5 \! v- `4 J+ b" A# K作 内 容和 创新点 包括
：
１ 、
# v- y9 x& A" U+ M5 L( S# `. Q0 s基于颜色统计信 息的 高斯混合模 型分类算法
0 M$ n" h( w; i3 i8 `9 ^: o2 n" D，
# T( q: [9 d5 j, C0 P- r设计 了
一
种快速图 像分割
算法
，
该 算 法通过逐层 二分法
一
# L" b2 c; N0 _# M* `次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
+ j7 d4 c. [: N2 h，
6 e& ~* e5 `# O6 X7 y同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
* Q5 ]* S; h3 z0 B& E% E% C该算 法不同 于传统方法的 先 由 轮廓得
7 @. h& v. s; e" R. `到
连续的 边界
，
+ b, }  d: f! i再得 到分割 区 域的 做 法
，
' e8 k$ p. X) ~( O4 ~1 O而 是 直接基于 颜色 统计信 息和像素分 布
+ x! n( P4 _/ q% l* |, y% M的
$ K" o6 k! A' Y, b3 U  E! M形态学特征进行 目 标 区域 的划 分
，
+ A; I4 n0 p- l5 g, [减少 了 边缘分 析的计算时 间
2 n* b" Z* B! y8 N, a，
且对 目 标 区 域
0 F: [  e& s5 }; \6 l5 O. V7 ^  X进
; j8 k; g7 v( h& n) }行分 割 的同 时 即 可得到相 应 的 区域边界
3 m# V0 i& r3 c. G6 V+ C! E% U，
具备很 好的鲁棒性
0 I/ {) }. U/ K0 @) r: f。
/ ~/ F* c, j. R２ 、
( n4 f( K; @$ Y9 E0 ~8 @从包含 人脸的 任意 图 像中 截取脸部区 域
，
0 |" A9 a  F$ _/ ?经过背景 虚化
! o9 o" u- Q' z- ~、
* w8 H8 L' s  v& r+ W% [! I缺失部分 补
全
& x' R" }# m0 E1 x" {; c+ L等步 骤
，
5 l% l/ b! N% d基于 生成对抗网 络进行标准人 像 的合成
$ S4 W  Q- ?1 D6 v  c4 s，
& i4 j6 E7 X$ v0 R合 成后 的 图像具有 特征点对
' [. b: M$ i+ o' G齐
后 的 人脸位置
6 }+ l& u0 }6 U) r5 ?，
且脸部 及肩 部
6 ^: t% R  X2 ~* T0 @、
上半身 等部 分都具有 统
一
的 分 割与合成 效果
。
9 O5 m8 _4 w& W% x2 @该
( P* I/ r' s) T- k- I& m方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
; S2 X3 B) G7 L，
可以 实 现人脸 图 像 的标准
化
4 B; x& _  O: l: s+ F& R，
. Q5 o% P" }3 m8 @, V( J同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
0 P0 v- C. H6 p- H$ Z% e。
该 算法可以 作为人脸
( v1 t8 {0 a$ n6 p3 P& {; l, o$ T, P识
别 后 的 处 理步骤
，
处理后 的 人脸图 像 相 比 原 图 像具 有更
. y8 L, t0 H& U3 y( i# G) T7 w一
% o! C3 M* i( h% ^* Q致的 图 像模式和对 齐
4 t) A2 C9 C# ?0 D' _: h7 j7 G后 的人脸特征 区 域
，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
3 ~% a4 M" I9 f9 t/ f- h2 N3 T: Z现
! I0 ~; e5 C6 m. }有 人脸识 别 与分割 算法的 效 果
& a0 |, R& g% R。
３ 、
2 q: b7 _( _: G3 t2 t最 后本 文提 出 了
一
种 针对人脸 图像进行优化 的 超分辨算 法
3 d. K- R5 D" n% w5 T，
- h1 Z1 L7 `1 [% n相 比 于现有
0 d' i, G3 Z/ g9 \的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
! D* m* n; r5 n2 k，
4 c5 \+ i5 N# e, V) @% c在关注合成 图像的 质 量
Ｉ摘 要
6 Y1 I" O. j9 t7 F: M% e和更加 细致 自 然细 节 的 同 时
. O! `% F; o! ^/ T4 X0 t，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
% X" V3 q3 O. [% x- \致
的
人脸身 份信 息
9 f" r# B7 T' ^& K。
算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
3 Y% U+ A% c( ~5 @) e2 B3 d( o，
: H/ b# x6 l" _+ O可
7 a' ^  _; s  N+ u6 }2 E以
! m& K. B4 P3 @6 u实 现图像 的 ４ 倍甚至 ８
/ k1 o, `+ j  g2 |5 {倍的 放大
，
4 L  l0 J+ @" V3 R$ c* D将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
# N/ ?& n1 ?, K: i; F4 O人脸信 息 的 高分辨率图像
" M. o& c4 K4 l, D% H' Q2 b# v，
7 r7 ?# _2 v/ ^; ]9 ?同 时算 法具有很好的适应性 和 鲁棒 性
: A% U4 y  J+ s% q" P; B# _，
) @) s* A6 c9 Q" ]对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
- d$ S) r: b/ n  B; m  i。
* q# `; w- t! g2 S该 算法采用 了
一
种 端 到 端的 灵
5 l- V% L) X6 G4 w" ~, D3 b9 g3 @活
的层叠式结构
，
+ l  L4 q6 r& l- |) R/ E8 K可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
: a) N# v" W: k; b/ ~' R9 J。
+ s2 [/ |! Y: U; |3 A( @/ d４ 、
2 ~7 e9 B( {4 U0 |6 ]- U& Y% K本 文在人 脸合成 图像的 对 比过程中
，
3 i  V/ R. K) A' i6 [" Y1 g: O提 出 了 使用 Ｆ Ｉ
' {* O6 |, [* qＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
; m% A- s7 l7 H3 d# GＤ
  K; U; @0 F9 h. S' s4 r, q' c, bｉ ｓ ｔａｎｃｅ ）
( v# c& F- D$ v# x代替 以往 的
ＰＳＮＲ
（ Ｐｅａｋ
Ｓ
( {, j7 C4 q" i. Oｉ
ｇｎａ
, g* Q# ?8 r9 i/ qｌ
－
4 Y$ P( \* q" ~' E' f/ C& y# Rｔｏ
－
9 S0 U4 I# I$ ]+ NＮｏ
ｉ ｓｅ Ｒａｔｉ
* Q8 t9 G! o) ]$ eｏ
: A+ m3 S7 \4 J8 e1 w）
6 J2 k" q* Q" F9 o8 S0 `和
6 h' I& x0 j! HＳ ＳＩ
3 _; o( q! ~7 y- N* u- a1 S: DＭ
（ ｓｔｒｕｃｔｕｒａ
' t3 A, N+ H2 M% B9 wｌ ｓｉ
ｍ
6 i! }  ~" G% W1 @- [5 b+ H0 t－
ｉ ｌ
ａｒｉ ｔｙ
ｉ
3 T' o4 j* x, W2 l. y- d3 bｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
& F2 s$ |4 Z: E. Z5 o. z$ j8 c，
因 为 ＦＩ
Ｄ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
5 c" s  O- m3 y* |同 时通过全局 特征 信 息 的统
, _* M5 H. u3 L% i+ Z% \计得到 图像整 体的合 成效果 与 原图像的对 比
。
! d8 o4 t8 i' JＰ ＳＮＲ 和
* F: k+ B/ `, l8 nＳＳＩ
Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
5 ^! @$ M" j+ s，
  \) Y: B+ v$ k" t  g# f细节质量等局部信 息
。
2 e! o/ M6 R- Y通
过
$ A( L% h" G4 z三者 的结合
; Q# [0 R* k# T" f# B- d5 E# d8 b，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
) r2 j& z, x# E& i! n! l，
* L6 u- P( c( A  f同时 评价
% U3 [1 Y2 g0 ?5 K7 f! {合
成后 的 图像 与 输入 图 像相 比
0 A, b! l7 I( Z9 H) }& n，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留





5 t0 B1 q# L- l2 n+ \. G