用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
9 A6 A% z% u7 U4 J0 F% q' n$ F5 q
3 D* T5 Z- w" T$ W, Y7 [随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
处理器 的并行计算技 术的快速发展
，
$ |+ t& s6 I" W; O: _& S% F机器学习 领域获得 了 快速的进 步
。
( n/ F' i- T' U: b! f1 l. s随着 基于
& @2 P! z: J8 `5 z5 ?9 `5 U卷 积神 经网 络的深度 学 习 方法的 出 现
, ^8 H0 d+ i$ t! E' O，
, A/ {9 M4 I- v$ |0 T5 B) ]% K．
9 J7 Y1 Q  n! \3 Q传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
8 }1 q7 P8 L& B% w, Y$ z，
尤 其是 ２ ０ １ ６
# v1 C+ z, M1 I! V4 b年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
，
图像增强 和 图像分 割等
领域之外
，
3 }6 T  ~7 N+ m4 X9 X* Z还实现了 基于 先验知识 的 图 像合成
5 _9 Z, g7 u, L4 U，
但 图像合成过程中 仍存在算法
- ^4 \& G2 D4 d6 d" l/ E结
果不 容 易 收 敛
. c/ I) S! t5 ?，
( ?2 Y4 f! p8 x" O9 j' ]4 B$ ~计算量大
9 k2 Z* u4 Z& Y, s# d，
' Q$ G: M' r# b, t1 Q" o! t- j优化速度慢
，
图 像劣化 等 问 题
7 M2 R5 v8 j6 F# I5 z) P# {。
针对人脸 合成 图 像
% j/ x$ k! T' Q5 p: u，
7 ]; l. ~) m- Z已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
8 R0 I7 @, O7 E/ e4 U( T6 E5 k，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
' y$ |$ g/ ~% T$ |，
仍需进
一
步 研 究和解决
! e; P) I8 k! `( |: h2 n。
0 n) n$ g; m9 S3 U0 j$ S% b$ u7 I3 j# E本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
& R" @* `. _3 O; {$ E& J  B4 Z; e，
( g0 p) w6 }( W- s将合 成过程分
成
/ `1 W( v' ?3 H: t0 H: i了
３
个 阶段
! p2 g3 X& m7 q* w. d，
9 K* q2 n4 a; {( }: x% ~首先 是 图 像中 目 标主体 的分割
6 i7 @" }+ f. u- V& D& M，
其次是 人脸图 像的合成
5 G! D# ~) P% o9 E9 M- {) }& f/ i，
最后 是 图
像的 超分辨和 画质 增强
，
" t7 U0 p, v9 _6 n) \9 ]( r实现 了 人 脸 图像生成算法的 识 别
; h( e7 e: P0 G$ t% @，
: S3 Z1 B% y, o2 _分离
4 {$ Q0 d" ]  @，
4 C  I! ~  L  B" u* O1 k( p合成和 画 质 改
善 的 全过程
3 O6 g& e- N0 y3 T5 \。
. f8 A& t3 B- R针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
了
+ x" l% ]" L5 A人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
主要
; y5 o; m- P. R) ~) Q& G7 z3 V工
作 内 容和 创新点 包括
：
2 y4 @: G* |- `4 _) [１ 、
+ ]/ [+ e3 m. b基于颜色统计信 息的 高斯混合模 型分类算法
，
* H6 r+ `4 ]: H7 V2 P设计 了
一
种快速图 像分割
4 d% S5 x- a+ W/ [( w+ V4 b5 \算法
% K( f7 S8 D5 D! k% E$ D. w，
该 算 法通过逐层 二分法
一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
1 q  {; |" B! Y; ?2 f4 \& R。
3 U: c% g) V5 u该算 法不同 于传统方法的 先 由 轮廓得
0 D+ S, o; I2 A2 n3 \到
. }$ }, |1 D% {( R% S2 O连续的 边界
，
再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
3 n* B) L8 d5 t, n* M0 C- z9 _4 p的
( V- `2 i3 ~9 t) }形态学特征进行 目 标 区域 的划 分
8 a. Z! F: y' l9 r! |，
减少 了 边缘分 析的计算时 间
& T2 m+ f% \! x$ u0 B! u4 Z0 P9 K，
* S2 ?: P& x: C# V, c且对 目 标 区 域
进
0 M7 [) P9 y1 l; m  N* I& [行分 割 的同 时 即 可得到相 应 的 区域边界
，
8 j2 B7 [# n! s- n; j( ~具备很 好的鲁棒性
。
" b7 [2 ~# p5 W2 r+ Z& J２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
、
缺失部分 补
全
等步 骤
- x$ p/ n. a6 u4 D9 r，
  G0 R# O0 S7 z; h, ^基于 生成对抗网 络进行标准人 像 的合成
; q6 H5 ]& B0 m0 ]1 e4 T& i' O，
* ]3 n/ |" h2 a. W+ }0 I- v, O0 y! l合 成后 的 图像具有 特征点对
齐
( K, `* o8 w: b后 的 人脸位置
3 U; l* t' f* h6 R6 a# j% l. U，
/ b" l+ L6 ?4 K4 O  m  p且脸部 及肩 部
+ b: |8 n  O/ \1 C! }9 j、
4 j2 @+ ?7 S, W' W4 n+ l- W2 L上半身 等部 分都具有 统
% y7 w8 g! h/ b6 E3 ?4 ?! _一
的 分 割与合成 效果
9 p6 {: o8 O$ p8 I。
该
6 l" D/ Y& [  V$ o方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
. F& y* K. R" E7 m，
. d* z; ~0 M$ P可以 实 现人脸 图 像 的标准
化
，
+ ]5 b! [! S& b" W同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
0 ^9 b' r7 Y6 _7 f& m5 s- v。
3 U* Y! Q& Z5 [* _5 Q该 算法可以 作为人脸
1 h* c" _" K5 t* M! F; y- d* [识
别 后 的 处 理步骤
7 D$ b5 U1 X! ?，
4 K% ?7 ~  Q9 e/ @处理后 的 人脸图 像 相 比 原 图 像具 有更
一
致的 图 像模式和对 齐
; R" h% G0 Y# k. V5 f后 的人脸特征 区 域
2 f4 I% x$ U& `，
. Q" E2 s0 t- j同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
$ v% N6 C4 \' g- r9 a. N  v，
有效改 善
/ t$ v: }" y: K; S1 O现
* Q3 M1 [, ]3 k' J# y有 人脸识 别 与分割 算法的 效 果
6 m6 A  t$ W1 k" o。
３ 、
最 后本 文提 出 了
; A& N; g' ]1 Z; ]) I/ f6 v一
4 r. A5 G  i: U+ I种 针对人脸 图像进行优化 的 超分辨算 法
! M, q$ n- g9 Y* E; u! ]& q% R' [- k，
4 S2 H1 G7 H$ Z! d! g, ~相 比 于现有
的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
，
9 J) F$ ^0 f, {& x$ k4 `9 Z9 X在关注合成 图像的 质 量
( j! S$ e* c. h- E! l1 p& VＩ摘 要
9 f; c6 B+ m8 R& V8 }: [和更加 细致 自 然细 节 的 同 时
, ~) K7 m# a$ o1 e0 T，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
3 o* N7 G4 S, c' W; Y$ ^2 ^) Q一
2 s9 `% }! l7 `3 N% X$ s2 f致
) U) ~) F& i, i7 S- T5 V的
人脸身 份信 息
。
算法通过引 入 生成对抗 网络和残差 网 络
，
% H/ [% e  T: U实现 了 上 述 目 标
9 s1 O9 M8 F* b- q3 v0 R2 L" a，
& y$ T8 @. d% a6 u6 R可
以
2 h% ~4 g& k5 C1 p4 ^3 a7 U实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
5 o; K( n! P; g* Z7 Y9 p，
0 q! T+ D( a8 L5 I% ?# r% @& K同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
7 S. v' h4 ]+ x" d- b3 L库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
. l( J3 |9 e1 k. n* K7 U7 U: r) V该 算法采用 了
( M! B1 Q' [% |6 I* D$ L1 h4 b7 r一
  ?# y: m) g, _& H种 端 到 端的 灵
活
的层叠式结构
，
3 Y( h+ R! W' [可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
' g& q) ?7 o% O2 A5 w; E４ 、
本 文在人 脸合成 图像的 对 比过程中
，
提 出 了 使用 Ｆ Ｉ
, u' `2 }6 P7 X6 l+ D$ _Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
" i1 @( }$ l/ X1 sＤ
; ?! e8 m! i; _' Y+ e# Q3 Dｉ ｓ ｔａｎｃｅ ）
' Q  i4 @3 y3 Q" \" Z代替 以往 的
ＰＳＮＲ
（ Ｐｅａｋ
Ｓ
5 j. ]/ e' l" g; d8 q: X  [ｉ
ｇｎａ
ｌ
; h1 {- ]! ?7 h$ z6 P* l5 k0 N. x) `－
3 D; O$ g- h% Z1 f5 ?3 Rｔｏ
" w' d  x; e8 x－
0 l9 e  Z% a( B. h6 s# B# ?Ｎｏ
ｉ ｓｅ Ｒａｔｉ
' f5 q5 D7 _/ Qｏ
）
9 r" T3 E1 }, ^* ?! A" l4 B和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
# X7 `* f* g1 U- {5 \  u6 o+ l0 ?* R2 Vｌ ｓｉ
ｍ
' ?0 Z2 u0 }. E6 Z# X% w. N－
ｉ ｌ
ａｒｉ ｔｙ
ｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
. C3 s$ f6 m2 n# }& d因 为 ＦＩ
+ G. x8 C# ~) h& i9 ~Ｄ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
$ @3 _3 o; ~8 y; |- B，
同 时通过全局 特征 信 息 的统
/ J2 n/ n9 ?, J. z. ~! R% W0 V8 I/ q计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
9 {  n4 H4 P: J8 d% ]& Z. x; AＳＳＩ
5 |. }  ~& W# Y2 L9 [1 ~Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
; Y! h+ ?4 c7 ]0 e1 R，
) Q7 G9 T! o+ e细节质量等局部信 息
- |4 D% S/ m# @* b; |1 X! O; l。
通
% b7 u, d9 Z* x过
3 F- i4 V# W3 ]3 f" o三者 的结合
( p3 u! x! `0 g5 P, R0 \6 \6 L，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
合
成后 的 图像 与 输入 图 像相 比
0 H/ g2 C" o7 o# ~) u，
6 v3 L. d7 v+ R3 U' \其 中 的人物身 份特征是 否能 够得 到更好 的 保留

8 X3 f5 Z- @# m% `6 g
; }  p5 g. H- S6 J

! T+ C4 ~& _; b% R