用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

! m; J; v9 o0 G+ t0 q随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
! Y& q* {3 X8 n8 n% S' b  G尤 其是 基 于通用 图
形
) y$ D. |; A0 q' m- M处理器 的并行计算技 术的快速发展
，
1 H; a' C6 A& ^- _" |7 k机器学习 领域获得 了 快速的进 步
。
* f1 S) u$ I# |: j5 e- [0 }' R+ H随着 基于
7 X2 _0 \2 w( C1 G* a+ q  Y- ?卷 积神 经网 络的深度 学 习 方法的 出 现
( v2 a/ j+ W, w! u$ d，
' i  r  \- _# @/ ^$ O．
" h( ?; A, Y0 u% K2 y传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
2 ?/ P4 c7 B3 Q( H  n/ q，
尤 其是 ２ ０ １ ６
年 以来
( F0 L7 x4 z' L: G，
1 |/ z0 H4 `* H* R6 a7 l- ~基于 生成对 抗网 络的 图像处理方法
6 {( H# a6 C# B1 T* q( t# X; g- E，
% b8 [$ G$ f) @3 X1 {在传 统 的 图像识别
，
& _" K4 v" z9 d1 K+ }图像增强 和 图像分 割等
领域之外
，
还实现了 基于 先验知识 的 图 像合成
- R9 W* U* ?4 g0 ^，
但 图像合成过程中 仍存在算法
结
& J' Y: @) C) K! K* n& d! v果不 容 易 收 敛
$ r% ]: Y/ `* Q8 P，
' }5 i& z0 d3 c2 v计算量大
" j. j8 q0 k2 L, t，
优化速度慢
，
  w) i0 g  Q; x4 E/ R, o图 像劣化 等 问 题
。
" }/ B; x' i. e) ~/ ^$ [; v针对人脸 合成 图 像
+ k- H! M+ b' b8 ?，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
* D5 d) D0 R, o. o- H; G' b5 E1 `& O+ X- o，
, I3 W8 ]& a( O, ?而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
; X& x* J( h4 W' Q" j5 E致性等方面
，
2 b/ u6 b% l0 t! B8 R" D2 z- q仍需进
2 x( Z* G0 o7 U2 S& [6 f3 s; J2 T一
步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
% b( e! D; B' ?5 g- k将合 成过程分
0 n( r/ R* B( H. p( X7 D成
0 \* r- H: w8 F. ?# ~4 }了
# N  w8 w5 I0 R9 x  b* ]4 ~３
8 T: L- }! K4 s* \; A个 阶段
，
首先 是 图 像中 目 标主体 的分割
，
* K$ ?& D: ~. D0 \# {) n2 {其次是 人脸图 像的合成
& b9 j# E9 f( s; |% j，
最后 是 图
像的 超分辨和 画质 增强
，
实现 了 人 脸 图像生成算法的 识 别
# [* G; ?% U: P+ K5 w7 _9 o& y，
, ?  {' `5 }4 c5 i分离
，
7 q5 Z' E7 y. O# |6 a+ v: @. V合成和 画 质 改
) j2 G8 g: ~; G( \. r5 z善 的 全过程
。
# J7 Q' \1 k: l0 {$ ?针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
5 O5 h+ N6 |- p; E, |0 U3 `，
本文 主要解决
了
$ f$ H, t% x2 {0 K5 @: c( F$ \人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
主要
工
作 内 容和 创新点 包括
) Y/ b. a1 B9 H1 u  Q3 W：
3 R5 L2 f( e; S１ 、
5 ^3 X) T% S0 Z' a基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
) E" i- \' Y& a5 n一
种快速图 像分割
算法
$ J6 m0 K  l* Y. k4 ?( U，
该 算 法通过逐层 二分法
+ u4 {" K# M3 n6 V9 T& y0 X9 B2 d5 }一
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
。
  c: f! K6 ]$ }$ ^$ `' Y: T该算 法不同 于传统方法的 先 由 轮廓得
7 u1 w& @: v8 q8 C& {2 E' i+ }3 N3 b到
连续的 边界
) @* D5 Z, c2 U8 Z, k; H7 f，
再得 到分割 区 域的 做 法
，
3 E. @6 P: A- m1 U+ P' i5 G! ]而 是 直接基于 颜色 统计信 息和像素分 布
的
) @* m+ T2 M, j6 [8 @  Z+ r形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
" d! W1 V: e5 p8 `: T3 G( Q，
! Y' ~1 t( a. e# ~; E0 r% W且对 目 标 区 域
9 H" P4 V- h% z! e3 i进
行分 割 的同 时 即 可得到相 应 的 区域边界
$ n. b! W/ f) b" ~，
8 ]' m# b2 c# b3 Z0 U1 e* P具备很 好的鲁棒性
0 t+ p: v+ x, U. A' m$ E0 P3 Y; P。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
$ p) T4 f; U: ^$ G，
; L1 Q9 Y6 A" I0 j- {经过背景 虚化
  v4 q; X1 a* M: T3 }+ G' Q1 ]、
缺失部分 补
: T2 N$ v* G, R% e0 M全
" h% z% J: l! [' ~$ `等步 骤
% t  G3 M* @7 U$ [- f，
基于 生成对抗网 络进行标准人 像 的合成
，
合 成后 的 图像具有 特征点对
齐
" G  c0 ^* i! a5 y4 g# Y5 B6 |后 的 人脸位置
，
% C6 g/ G) r- ?( H且脸部 及肩 部
、
上半身 等部 分都具有 统
一
的 分 割与合成 效果
。
该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
3 j7 A6 x, p* O" M，
可以 实 现人脸 图 像 的标准
化
! p7 U2 w& h; }, v, \8 K2 o; f1 v，
* U5 c# z! C; W8 l: Z同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
6 K0 O  ]- q/ g7 f. D: M( R1 n0 ], _8 Q该 算法可以 作为人脸
% Q1 L) {# X$ Z: U8 Q) h识
别 后 的 处 理步骤
，
- E0 F1 u2 @. X6 P" p0 {0 _处理后 的 人脸图 像 相 比 原 图 像具 有更
一
, A4 J& c0 [" X3 d0 d4 S4 G' d致的 图 像模式和对 齐
后 的人脸特征 区 域
，
8 {7 I8 d. ]5 w3 o8 f同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
! I; |+ M1 R( t( f8 W) M8 F有效改 善
现
有 人脸识 别 与分割 算法的 效 果
。
３ 、
& t5 D) R! e/ |7 {最 后本 文提 出 了
' F5 e9 I' t$ q/ i% U0 w1 [0 P. ]3 ?一
  y* j1 x+ i: H8 F( d, V5 ]( C种 针对人脸 图像进行优化 的 超分辨算 法
，
6 M6 G3 l8 T- v" c相 比 于现有
0 h9 y2 u# {3 \! v5 s& e的 图 像超分辨算法
，
该算 法在图 像 的超分辨合成过程中
，
) d" R1 r' Q+ v* G在关注合成 图像的 质 量
Ｉ摘 要
和更加 细致 自 然细 节 的 同 时
, P; _: B  M' n- t，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
/ U* ?+ x) m4 W5 X& I的
) W3 a5 ^3 P2 {人脸身 份信 息
1 _8 W$ y* L8 u1 n5 I: }$ Y3 \。
算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
，
8 y6 B! L" ]/ f& r; b8 E0 J; @可
以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
，
) v: k0 R+ m2 @; r对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
  Z6 Z  j, C  X& ^4 B* ?$ p  [。
) n2 B8 _  x9 b  ]3 _+ t+ i+ y该 算法采用 了
一
7 P7 O$ a' S3 [) f; |种 端 到 端的 灵
3 [/ Z; L5 r4 }3 D/ r, B活
的层叠式结构
，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
４ 、
本 文在人 脸合成 图像的 对 比过程中
7 L7 e1 h) \- M) ]7 |: G# \，
3 t* z" S9 v' t6 M8 z( y' y提 出 了 使用 Ｆ Ｉ
, }2 f  @8 z* l, f0 B" Y; YＤ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
5 \; ^6 k, r( m! o: Y+ ^( OＤ
ｉ ｓ ｔａｎｃｅ ）
: V7 f. Q% |7 `0 t+ D' i代替 以往 的
ＰＳＮＲ
6 h1 c+ U8 \6 Z9 U$ P（ Ｐｅａｋ
Ｓ
ｉ
) @5 [3 P& L# C6 gｇｎａ
% R" {+ i2 C5 r8 Z3 v  oｌ
－
ｔｏ
－
Ｎｏ
ｉ ｓｅ Ｒａｔｉ
' t" F/ G7 N# d$ W# w  v% Hｏ
2 F* d) y' g" x  m) w) M）
和
3 P) A2 s: `  T, A' S% rＳ ＳＩ
9 y2 Y& ?: L& W8 M7 CＭ
（ ｓｔｒｕｃｔｕｒａ
$ A' w8 w* B2 i. s' |ｌ ｓｉ
ｍ
－
ｉ ｌ
ａｒｉ ｔｙ
) b: ~1 c7 m+ aｉ
* {2 K* P1 y# J, bｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
6 @/ b, _, f2 K( tＤ 值能
# I8 j# T1 Q  ~  H够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
' J! _. ?% k7 Y4 @5 o计得到 图像整 体的合 成效果 与 原图像的对 比
/ I5 g' o* ^" V& |- w: C。
% f" O" x/ s0 ]* I& @" M$ ~Ｐ ＳＮＲ 和
ＳＳＩ
Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
3 o* U9 d0 p1 Y8 `) t1 I" u* p，
* @/ l1 k( E0 W3 k- u. F: z细节质量等局部信 息
。
- ]/ t7 ]7 g9 C, W% D! k: C通
过
5 x4 ]8 v3 T  m三者 的结合
，
: x9 V/ p' k+ ^1 h- x% X$ a可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
+ g5 \8 K- ]# r5 N3 c! l6 x，
/ g! ?; v0 R6 L# b! T同时 评价
2 P. H" n$ s2 L# k合
. M# g7 l, S# v8 j( U: D成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
- M6 ?% w8 Z9 ?- H4 ]. R6 ?# p- F
' N& l3 I# W2 O9 T* G$ Q
$ W4 B1 [9 K% G
! V) _( ~0 ?; i* g: [- b
- Y7 `' R: ?/ ~# g5 J
4 V- ]) b1 G! |0 v/ ~+ G' P