用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
/ Y9 K8 {$ H4 T7 ?形
处理器 的并行计算技 术的快速发展
# z' |- }* E  r; x, n8 p，
* ]2 g2 u$ L4 k3 T2 \" [机器学习 领域获得 了 快速的进 步
。
随着 基于
# B2 D7 s# A  Z% \$ h卷 积神 经网 络的深度 学 习 方法的 出 现
9 A% r2 Z8 f- A& g. W: b+ b8 t5 W: p，
．
. \- s8 u" O0 R# U传 统 的基于 数学 模型 的机器学 习 算 法在
4 t8 D, L) H, P5 w$ `. ^  Z9 t0 s很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
: @/ C- o2 u9 H0 F6 Y尤 其是 ２ ０ １ ６
年 以来
8 _* h7 z) A$ E，
基于 生成对 抗网 络的 图像处理方法
4 Y! N) }$ I8 b( E3 G，
在传 统 的 图像识别
，
7 b$ L" T; A$ K$ ~( r% A- d图像增强 和 图像分 割等
7 L: @4 x2 c2 S领域之外
5 p" y  Y& b: q，
. R' o! Z& r$ g7 a: @/ i还实现了 基于 先验知识 的 图 像合成
& y0 v4 q, u# g  i1 Q，
但 图像合成过程中 仍存在算法
/ Q( m+ o. f4 y1 z0 H/ P1 r结
3 }0 w0 [+ l4 k! ?$ x果不 容 易 收 敛
' K9 [) }* t1 l* ^5 t，
计算量大
，
! ?1 w& I/ E, p2 O优化速度慢
5 ]  e/ P( f( J# T, k3 T7 R% g，
图 像劣化 等 问 题
) a9 N( E% b; e2 `9 |; O。
3 Z) R0 W8 W3 D针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
/ ]8 K' q& \2 I, p# V5 B2 |，
8 E1 \7 o8 E- `* |. }* [- c7 t# d4 R而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
9 M0 W$ Z6 P( u6 h+ W1 h/ d; V# L+ v4 |一
9 }' w2 s8 K7 J# R8 \! O致性等方面
，
# G8 r, P: R/ i, Z7 M! p) n仍需进
2 q$ }+ z" R6 `一
步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
8 m4 ]% F3 o3 R* R，
. j6 @! l" H* q* c将合 成过程分
. H2 M6 ~9 q" `4 E9 G成
% W% {; X/ }1 R1 R* D" F1 Y了
3 D) o( s9 q2 R( ~, \. \３
个 阶段
，
首先 是 图 像中 目 标主体 的分割
，
其次是 人脸图 像的合成
，
) R2 U1 {. h5 J7 D$ E最后 是 图
像的 超分辨和 画质 增强
- w% E( `2 Q0 E( w; i5 M，
6 R5 p# m% R4 L/ p9 {8 |- m! Q实现 了 人 脸 图像生成算法的 识 别
1 ~9 K, N0 t0 i' S: ^，
1 N+ r5 y+ g- K# v3 [; U" F分离
) ?- [+ O# _$ V. L，
合成和 画 质 改
善 的 全过程
3 ^: N/ `* c( w。
% P, L+ n( T: y( w* |6 Z" x针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
7 u* h- d0 g. F1 {. b. ]$ T! z, z，
本文 主要解决
1 r5 h9 @/ x- p了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
主要
工
作 内 容和 创新点 包括
：
１ 、
& d5 `+ s% T- [+ O( Y) |  |6 O( R基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
+ M, g( v0 ?( V) H% @9 L一
种快速图 像分割
算法
& Y# `1 h% C5 F  m7 V，
该 算 法通过逐层 二分法
  h" c" u' {7 j一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
! W3 t7 ?: J& i/ y" q。
8 W3 e  N; V; a/ m$ a9 t该算 法不同 于传统方法的 先 由 轮廓得
% Y) R, U  z& A8 c7 o到
连续的 边界
1 ^0 E1 Z) r) G) f7 u，
! v$ u' g! B8 L1 C" Y/ v再得 到分割 区 域的 做 法
& a- I: ~* A" t' ^" {，
8 q4 R5 `, V% @而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
，
且对 目 标 区 域
进
& a8 m' c" S- j/ x行分 割 的同 时 即 可得到相 应 的 区域边界
1 C4 a2 m. g% m; o- q/ I，
: S8 @( g  E, F: O- b8 ~5 h6 S  s具备很 好的鲁棒性
3 X3 i3 x( P, H5 l。
2 X: m. P& h% T6 T; j２ 、
* w/ E- Z, t$ I, g/ Z0 Y6 ?* j从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
& r) W) O) e+ b, C+ |; g- |、
缺失部分 补
全
等步 骤
，
8 Y" y) Q7 k* C3 a  \基于 生成对抗网 络进行标准人 像 的合成
; x" W% A. M' w; `，
合 成后 的 图像具有 特征点对
/ z6 ?) t$ t) l+ G7 j* ]齐
后 的 人脸位置
，
  x+ S  D& \; @3 ?% j且脸部 及肩 部
、
3 d4 Y/ N/ e* }% T上半身 等部 分都具有 统
# q( h/ q- n, {- D: F8 z0 q0 O1 _6 @一
的 分 割与合成 效果
。
# M- I- c# {+ v9 j' Y- ]. L# R该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
  A# U4 q5 X7 |8 a4 U: |，
可以 实 现人脸 图 像 的标准
% D$ w" F  W) [化
，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
该 算法可以 作为人脸
6 C/ t' n& X8 R0 T8 l) r' }识
. `# z4 ^4 H- n% q2 l别 后 的 处 理步骤
，
! p- l  D- N% ?8 k$ x处理后 的 人脸图 像 相 比 原 图 像具 有更
3 `# Q6 K& H" ~6 A0 q一
致的 图 像模式和对 齐
后 的人脸特征 区 域
4 A; H) g" m& L* y3 T% H0 h9 _，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
6 V4 I- w" |; P. f  ?0 H- G3 D# ?有效改 善
现
- v. d6 `5 B/ `) H* a有 人脸识 别 与分割 算法的 效 果
。
9 [9 \- h0 A" f0 c' W３ 、
最 后本 文提 出 了
1 t) L; h: l; [$ m( P5 k一
1 o* Q" s! L, |! a, X; o3 q5 I  T+ `$ w种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
+ x, y$ u5 W6 y, v2 x的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
，
在关注合成 图像的 质 量
3 E9 E/ |& j( _7 w- O' qＩ摘 要
- f% V, `6 G; J: y和更加 细致 自 然细 节 的 同 时
，
! R3 F$ \4 G7 w9 k, Y& r更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
7 t8 Z0 v) I2 |; u/ S5 L一
. ^+ O+ V7 h2 q& C% J# U致
的
( S" i3 Y9 S( f# G8 l! i% U3 X  N人脸身 份信 息
5 E/ _+ k& m) T- k$ ?. k。
7 n+ Y# C5 N; M' K$ _1 Q4 R' _算法通过引 入 生成对抗 网络和残差 网 络
，
7 G  |2 I. {8 ~6 ^4 \) G实现 了 上 述 目 标
2 v  G+ N; `+ m, v，
7 o  i) U+ c5 E: p) _; y可
以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
/ F' V7 d' }' L2 ]. b+ L) R9 R: k，
/ Y/ Z6 E+ @! d" K* n7 @) N: {对于 不 同数 据
+ G7 ^( g: O8 T2 t; ]0 J. E& v库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
一
种 端 到 端的 灵
5 Y! T' A$ s& ~, j! m活
8 d  ]/ B" l! i. l5 n4 r2 X的层叠式结构
，
& }  k6 g. @3 s" l( g8 V可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
1 A9 Y$ f" v( m8 i; @3 n。
４ 、
本 文在人 脸合成 图像的 对 比过程中
& N/ b% r. z, ^9 L，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
' T7 R  r& O! E2 i; ]ｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
$ c4 a7 W. B$ W% }代替 以往 的
3 q' O) U- f; `' DＰＳＮＲ
0 W3 ]  _! |* b4 d8 F（ Ｐｅａｋ
/ b! \- c( x$ x0 m. P4 gＳ
$ j& A0 j* R2 h& q, @ｉ
ｇｎａ
ｌ
－
! b4 c: J* ]/ _3 s" S) Yｔｏ
7 ~3 \- B5 P0 U6 }* V) J8 |' _7 }; e－
6 y) G& y* [2 VＮｏ
ｉ ｓｅ Ｒａｔｉ
  X. P. J3 V% z, E/ P" tｏ
" r$ {! o+ i0 s5 \）
# o% [( p/ c$ {2 c6 R, ]  d  H7 ?和
Ｓ ＳＩ
Ｍ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
－
3 j; P8 ]3 x2 c# X2 Y- O! h3 Wｉ ｌ
ａｒｉ ｔｙ
% U% I- e$ n$ p- n3 Q# E* U3 ~ｉ
/ O; }. I& T  S5 m2 g4 hｎｄｅｘ ）
$ a2 i  \: u; d. G0 v1 f参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
. d+ K8 `3 e2 y/ ~7 k" D- T因 为 ＦＩ
  b4 ~, ?. t, p. BＤ 值能
( J- p  b2 F, t4 m2 }! J4 m- Q够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
1 t3 R$ m5 o0 m- U9 F，
同 时通过全局 特征 信 息 的统
* n- z' a- K8 X3 i2 K6 z5 k  D6 d计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
2 N, l$ \  q" ?8 s4 UＳＳＩ
Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
0 s: ]' r+ Y; k- `3 _! n+ Z8 |，
细节质量等局部信 息
$ r1 t/ p. \+ x6 R* [8 m; Y。
通
5 N: s8 l. p( j; M过
三者 的结合
8 \* O7 W+ z. Z  y，
/ t' F2 s# q$ q4 n/ c" A可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
: Y( `: V1 `0 ~3 J/ [6 ~9 ~7 {( Y0 B，
1 w% n: y0 Y+ g3 Z同时 评价
合
3 P  P& ^; r2 r成后 的 图像 与 输入 图 像相 比
，
2 r: `9 t- K3 e( s: S1 X) E" p其 中 的人物身 份特征是 否能 够得 到更好 的 保留


% G( Z2 f. t/ a/ Q0 f
3 z# o! M* f6 J, U. q& h
& v# `* r! r& G3 f- K