用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

1 E5 Y# I9 q; T$ c9 f7 o随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
* r3 z  G2 Z* [- N3 I2 s$ x，
尤 其是 基 于通用 图
( A& t7 v6 _& d& x9 B! T4 h形
处理器 的并行计算技 术的快速发展
，
- ?9 V+ j' K- j# b机器学习 领域获得 了 快速的进 步
。
* o- E+ X0 N: ?$ r/ M' O% V) f随着 基于
. ?7 [+ W8 F8 S8 d+ a/ P( r卷 积神 经网 络的深度 学 习 方法的 出 现
，
7 c, T6 A7 r# P+ m$ j; @2 V．
传 统 的基于 数学 模型 的机器学 习 算 法在
3 @5 x" o! {& V4 f很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
0 l" e& _! ~9 P0 @，
' s7 S; @7 L; i5 a! [% h尤 其是 ２ ０ １ ６
年 以来
5 z8 @3 D7 ?! x，
" d. B3 i8 ?; h基于 生成对 抗网 络的 图像处理方法
; ]" c7 s: t" [9 _" n，
1 v7 q  Z) I0 L& A7 R4 y0 p在传 统 的 图像识别
，
图像增强 和 图像分 割等
领域之外
3 S3 h# w. c+ O/ u0 A，
还实现了 基于 先验知识 的 图 像合成
，
但 图像合成过程中 仍存在算法
结
果不 容 易 收 敛
% O$ c8 s, u! h，
6 Y9 p9 Q) b& p' H% }4 |计算量大
* w3 u; F" U3 a- B7 q，
优化速度慢
6 q0 X/ u' q6 u$ Y$ A) Z9 l7 T，
图 像劣化 等 问 题
。
% ]0 o0 \& d1 d1 ^针对人脸 合成 图 像
, h2 @4 Z( b3 y' \' _5 `，
) o. k* E# B8 X. _2 y- p5 ]已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
，
# T7 e0 c2 p9 d1 E- `而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
& n: C! L* V6 a3 j' U' ?一
% G  Z. b, N! Z7 l致性等方面
，
仍需进
一
% ~5 [- T0 O$ V  k; m步 研 究和解决
。
- m$ k+ \( [. d7 ?, k本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
成
了
３
, A7 R/ x. x1 T' s1 Q个 阶段
0 `2 y1 d0 @7 ]: E8 u，
; T6 o, y1 n+ P% Z* F; ~# D! T首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
. X) G6 N+ [& W1 {: _+ K9 U* G: H，
' L1 }. N0 H' D( k. N' O最后 是 图
像的 超分辨和 画质 增强
，
" n0 U7 ?' ~: z! I实现 了 人 脸 图像生成算法的 识 别
，
分离
，
! J/ _7 H& z9 q6 ^0 r合成和 画 质 改
善 的 全过程
。
* ]3 V3 B( m( K针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
  p/ j  L' ?; K. Q/ j5 u，
( g1 I0 ^% L8 j' m本文 主要解决
了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
. Q6 V1 \% Y) T3 ]) M8 d! E，
7 e/ [1 ?5 G: W8 n主要
. v, s$ i: X# k  [  |工
作 内 容和 创新点 包括
：
9 y  j$ `9 Q1 i4 W6 V  o3 Q１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
/ Q* E; s! J: z# v，
设计 了
: M0 q7 g$ [2 h9 \: C- l; I一
种快速图 像分割
  G7 x9 P* p. S, ?算法
，
" j7 g1 j  F4 t/ t4 t1 l该 算 法通过逐层 二分法
" f/ q# c9 x  z- O+ O6 k$ R一
4 {8 b" K: Q) X, o6 o次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
+ {6 S* }. p# Z. s! s; g& l，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
; y$ t7 {$ |! z7 {1 E该算 法不同 于传统方法的 先 由 轮廓得
到
! V, r0 U* r/ {+ F! ~  C  G$ I# v9 N连续的 边界
9 E7 @2 M* d! I2 D9 |% u$ g. O，
再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
的
1 G* }5 j7 j! v6 E$ ^形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
/ L& {3 [% [/ e" i; v，
且对 目 标 区 域
进
$ n/ g" k, w# f  o8 x行分 割 的同 时 即 可得到相 应 的 区域边界
" j# R' r" B! a! v，
# |% i8 Q  D% W7 J具备很 好的鲁棒性
。
- @: R* _1 h9 _２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
: O, s4 `1 m8 m，
- y1 S; _. G7 n1 p/ L0 F2 E# G经过背景 虚化
4 d7 {6 z+ z: x* E、
缺失部分 补
全
等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
齐
& p- m+ H# v8 m) I) X  |后 的 人脸位置
, s  F$ i8 T" [8 o. k，
6 f4 }+ M" T5 Z9 H6 \% b且脸部 及肩 部
、
上半身 等部 分都具有 统
一
的 分 割与合成 效果
  B; ]! }0 y4 T8 Y; p。
+ l' R: ~% C5 V# U. V该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
4 U( i/ @  ~; ~9 F1 O，
可以 实 现人脸 图 像 的标准
化
- e" R3 }7 d- D9 \/ @，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
8 o; i* ]* X( f2 m% V该 算法可以 作为人脸
识
: I# ~8 P* @+ b3 q" Y别 后 的 处 理步骤
，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
- V1 r. T( Z3 L+ o  w致的 图 像模式和对 齐
后 的人脸特征 区 域
- C/ ^% K. G. I" E，
6 D9 a- V4 N. h/ B+ V( Y1 R9 m同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
7 O/ F$ h6 h4 S，
+ v+ M) ~6 a  i, d! V  k有效改 善
现
有 人脸识 别 与分割 算法的 效 果
8 I5 j! J; ^3 f0 Y" P。
３ 、
最 后本 文提 出 了
( }  ~: @, G. G1 E% p  G: Y一
种 针对人脸 图像进行优化 的 超分辨算 法
' d% Y/ y4 B2 d7 z3 p3 Q6 Q，
2 V, H: X2 [) ]& W相 比 于现有
5 j- e- E2 S! n" {3 _6 I! E- [的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
+ z$ @# c0 z# ]' D# V" V, \% ^，
在关注合成 图像的 质 量
+ U7 ^1 S0 J  c# x. j- lＩ摘 要
' y7 O8 M* k5 m' r( x: S和更加 细致 自 然细 节 的 同 时
- A8 E6 o" s( \7 \) |) R，
+ N' y! _2 z. Q* @+ U. {更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
! n+ `& ^6 r  I5 K一
致
的
人脸身 份信 息
, n" D( d; U% s。
算法通过引 入 生成对抗 网络和残差 网 络
4 t$ y) c8 t; P，
实现 了 上 述 目 标
1 x; m& O+ t- x8 x  v* N  Q，
- J% G7 c# R! b* ]9 P可
以
- B9 l2 d- V* i3 v) s" R: Y实 现图像 的 ４ 倍甚至 ８
倍的 放大
. p$ Z& w% `/ U，
- b! }$ ~" ]% s, d6 m- j% r将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
: d+ X3 W5 Q  ~' d5 c" J人脸信 息 的 高分辨率图像
$ X& H4 H1 x% t/ m4 t: G+ _- w，
% T/ {8 r5 ^$ L+ p7 m' A) x& D同 时算 法具有很好的适应性 和 鲁棒 性
* r* q$ T# Q+ P% n9 f: x，
6 I& e/ d* ~0 v4 Y4 Y& |对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
; B. R/ _' _; A4 S" Z4 x; f( @该 算法采用 了
. s% q. I, C/ |+ R$ ]一
种 端 到 端的 灵
活
8 q1 h3 U  c+ ~% B& ]的层叠式结构
，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
$ s2 D) ^- n- j! w# x& ]7 }4 ^% {7 ^。
４ 、
本 文在人 脸合成 图像的 对 比过程中
  K& E" p6 }3 ]% x，
: w, B- V" P8 w$ M6 n# ]: \# d3 M提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
ＰＳＮＲ
（ Ｐｅａｋ
) A, n& A" Z: g: ?Ｓ
& Z/ ?& V+ O1 k. M0 c0 v" |6 Mｉ
ｇｎａ
/ y3 ?5 B( |/ A) rｌ
－
ｔｏ
6 g* V  z6 ^( ]' H" Y$ C  X% j5 w－
Ｎｏ
9 O; b! Y/ i, x- Hｉ ｓｅ Ｒａｔｉ
$ l- i! ~& w8 I% h1 zｏ
9 W: f1 R. m8 F1 q* G; ]+ q）
) Q4 p; c% K& d: Z, C+ C3 m* z/ n3 M和
Ｓ ＳＩ
Ｍ
. n1 b6 i3 v4 p: i' S; R: X- q% v2 Q（ ｓｔｒｕｃｔｕｒａ
2 W% d( o. a- `" P; s0 d6 k) Fｌ ｓｉ
( ?1 y0 m$ C" W6 A8 C9 g" _ｍ
# e- n- p: C% J－
8 K4 \+ D6 w$ G3 l6 cｉ ｌ
ａｒｉ ｔｙ
ｉ
3 V! I, H1 B! J, G/ Sｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
% h4 @! L5 G1 h: ]- W" J! w1 Z0 n，
, r7 ^% w2 d: @7 Z/ a, h# h0 ~因 为 ＦＩ
) ]/ b) |7 S) uＤ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
( O+ h2 M0 [$ b. F+ e，
& C2 A, Y) `+ k% a. h. B6 L  X% j$ k同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
6 M! H" s1 e# z! ~。
' w9 j& F3 m, X' z, rＰ ＳＮＲ 和
0 o' `2 L# Q  y9 pＳＳＩ
* j- X9 y+ w2 j, V! c9 g! i* E0 AＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
2 P4 ?- \9 y- `$ N( w; {$ J! p细节质量等局部信 息
' u8 y/ o5 E2 w7 L' b6 v7 q。
* [3 l/ Z& F; x( J9 z' l+ Y通
过
2 B0 a, \7 A2 d6 u5 y三者 的结合
，
3 E' h' g1 s! O" V9 a4 Q可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
; t% a; |3 {3 ^/ F0 v- k* L，
同时 评价
合
* m, [2 j7 j5 j/ D  X$ _3 G5 n成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留


: |& s, D, G+ a4 }) W( E' O5 Y6 A
+ X; E7 @$ ?, J) \0 |+ v
! j+ X$ ^* }' f" L. D5 t( `
) {1 P  z. \0 x' R# O3 K