用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
! E# J9 h3 X% z9 u; Q% t
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
* a; W5 j, A0 p& S形
& n" ~/ K3 a4 V4 l# G  p处理器 的并行计算技 术的快速发展
3 O: D# G7 `) a6 `$ ~$ O，
4 P* C% m% b- u8 C# R机器学习 领域获得 了 快速的进 步
。
  }; N0 D$ p  s- O随着 基于
- f6 W3 F- p; x% `卷 积神 经网 络的深度 学 习 方法的 出 现
6 G# j8 C/ y( Y' }; G，
1 A9 B1 Q1 @: g1 x% U% {．
传 统 的基于 数学 模型 的机器学 习 算 法在
1 T6 c6 J: J# J9 N* O7 W很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
尤 其是 ２ ０ １ ６
年 以来
，
基于 生成对 抗网 络的 图像处理方法
，
在传 统 的 图像识别
& j% `2 e6 k# L, Z, C: M2 |，
图像增强 和 图像分 割等
+ d- e; Y1 g( B7 U" q# Z; c) z/ _领域之外
，
还实现了 基于 先验知识 的 图 像合成
" y3 C: f' t  i6 z$ E# d, n) M，
& m% U) S2 Y! K1 T. d# E但 图像合成过程中 仍存在算法
0 v1 i! }/ A" k) o8 S5 G/ N: F结
果不 容 易 收 敛
; Q) ^: y: j3 b: G，
% U! n* a8 Q4 {计算量大
' k/ J7 t, n# d2 @% _; _7 o3 H' z，
2 X5 k, {+ _3 p" e优化速度慢
，
图 像劣化 等 问 题
。
0 q' ], j) V( S7 V针对人脸 合成 图 像
，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
- Y( P* P7 ]: [6 Z3 ^& m0 z节还 原度
，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
9 l% D; R7 Y- S一
  `2 b7 U" D5 {! c致性等方面
，
仍需进
' V9 r' t2 s6 X; R一
" R; B* ?# t! @/ P; g0 b2 d1 _步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
成
, ^- F" O, h% P了
* j* T# f0 K; B7 G/ g" V4 H5 j5 c３
5 L6 p0 M) I* d6 m' w个 阶段
; a* F, i/ {3 j，
首先 是 图 像中 目 标主体 的分割
，
7 n  F  o; k3 H其次是 人脸图 像的合成
9 b) a0 [5 Q" H，
最后 是 图
像的 超分辨和 画质 增强
，
! X" Z2 o! E3 S1 f% |/ `实现 了 人 脸 图像生成算法的 识 别
，
- q/ P. \/ e+ E' v! F, s分离
. T3 G7 Y6 L+ c! d) R- Z，
9 q! |3 k% m( |# a! O: {- X合成和 画 质 改
+ s- ?  }0 T# [% z; z$ z; J- ]善 的 全过程
/ G2 L- e( T0 ~7 n3 l。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
，
本文 主要解决
了
3 a' H( v& u* U+ `+ |3 V人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
2 J! g' u4 e* O$ d, Q! {5 q% d主要
9 O* ?8 h' e4 l- P: o工
作 内 容和 创新点 包括
+ N' r) e7 T0 ~# {3 s. c, {：
5 k4 b+ _; I  s8 l- D+ K% t１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
  P& e7 {+ g- \3 P" m1 R，
设计 了
一
种快速图 像分割
算法
，
该 算 法通过逐层 二分法
一
* ]: `) N9 i* S6 M, ~- N7 q次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
. w" `! T6 M$ z+ o: j，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
2 k3 g( W7 d+ C2 |; R7 r4 Q  D! |  A。
该算 法不同 于传统方法的 先 由 轮廓得
) F1 B( X9 D$ I7 }- r5 ^( V到
连续的 边界
，
* J0 J( b. Y# o, `5 X  h再得 到分割 区 域的 做 法
，
而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
4 I8 \6 X, n1 `8 I，
. }& E& e5 d. I1 M) j减少 了 边缘分 析的计算时 间
，
且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
, V8 O9 r& ^* c3 u，
具备很 好的鲁棒性
。
２ 、
# B8 Q8 B% F3 {. _从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
、
' n! ^. }' E) p+ k' ^9 m" ?# k缺失部分 补
1 ^( Q; i/ \. U0 y" a全
! n: {" n+ _, a1 H) l3 `! M# x等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
. V* j' X9 e: J& P合 成后 的 图像具有 特征点对
9 u1 f) G7 \4 I1 p, o0 n) [' J7 p齐
后 的 人脸位置
，
& C" b5 F5 [2 ~$ {9 ~- W且脸部 及肩 部
、
7 }& m: @5 `% V1 ?' |上半身 等部 分都具有 统
. {6 `- x& R$ k! ?+ {) c一
& `+ [/ R  b0 t/ F! _8 V8 d的 分 割与合成 效果
% l7 i' c; T3 M/ Z7 H。
0 t7 T* \. p2 O7 _, K' v4 M该
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
，
2 G5 _/ `- G% {/ u5 D; a0 R可以 实 现人脸 图 像 的标准
/ T, O) ]+ P* p. b0 Y, H化
，
' F1 Q% q% N2 T( ^$ I同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
该 算法可以 作为人脸
识
别 后 的 处 理步骤
3 @1 `- v8 ?+ a! g，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
致的 图 像模式和对 齐
% w8 R3 F4 V2 i. [; ]后 的人脸特征 区 域
，
' A' T! F6 e+ P$ G+ l同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
. O+ t5 p/ W- n8 E: U7 v现
  o+ S9 d: r  E7 c有 人脸识 别 与分割 算法的 效 果
。
+ f1 r$ S. F6 N) z7 A+ e/ c& ~: C３ 、
1 T# r) Q4 a, H3 l4 A  i( F最 后本 文提 出 了
一
) i6 ?$ I- \/ V) O种 针对人脸 图像进行优化 的 超分辨算 法
，
; ?8 ~& ?, _& ]+ A1 m; L5 g5 b相 比 于现有
' V3 F1 k# B: A( a! {的 图 像超分辨算法
，
8 z' u4 e+ R7 w; r9 o4 R该算 法在图 像 的超分辨合成过程中
6 m1 ~8 b, H- ~0 `，
在关注合成 图像的 质 量
+ V! C& K7 W1 zＩ摘 要
和更加 细致 自 然细 节 的 同 时
# }7 y9 a1 ~2 z% O7 F7 |，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
5 |+ M1 x- u3 n3 s: T( g一
致
的
人脸身 份信 息
5 U8 ]) a+ O5 g6 G5 e。
算法通过引 入 生成对抗 网络和残差 网 络
  ?9 E6 ]- x6 ~9 B，
实现 了 上 述 目 标
，
0 W0 L" T* S0 N; K7 z( u5 I- o' {! w可
以
实 现图像 的 ４ 倍甚至 ８
' Y  C7 h0 [; p3 I倍的 放大
，
% J4 `( p" {2 l: |% K2 O' w; B将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
人脸信 息 的 高分辨率图像
/ V9 G: P* N1 K- |% M，
同 时算 法具有很好的适应性 和 鲁棒 性
  I% C8 A* F$ ?' J，
对于 不 同数 据
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
$ j0 j7 A% U3 N* o5 O一
种 端 到 端的 灵
' U' j, r5 v! c活
1 J; o" _, _7 a: g$ A的层叠式结构
# C* d7 X$ c- G6 A4 S2 k6 y# l* V，
0 W) L4 F; W4 D7 B2 y& F# \; d可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
% L8 x! B! q& {6 M。
４ 、
本 文在人 脸合成 图像的 对 比过程中
，
# x" _! O. u$ z4 G提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
4 `( }$ @2 C5 H& i1 m; T7 ?ｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
0 ]" U! u) ~6 [! u/ X& x% T代替 以往 的
8 r& b0 k: k1 D9 o# j" lＰＳＮＲ
（ Ｐｅａｋ
/ Z, L  {9 ~' i# @Ｓ
9 A0 a' S5 Z+ K3 Vｉ
% @8 i% Y) b% I1 W5 R) K/ t1 X# Mｇｎａ
8 X/ ^: @- \( Vｌ
8 E7 w2 I0 O% w4 M5 l－
' j6 u0 q* i: i5 t/ ]ｔｏ
6 b/ w( Z: j: K+ |* O－
Ｎｏ
ｉ ｓｅ Ｒａｔｉ
ｏ
）
和
" M. p' y; `1 tＳ ＳＩ
0 O4 b6 w* d) Z3 U. t0 ?8 R3 }" BＭ
（ ｓｔｒｕｃｔｕｒａ
( J1 ?6 l  O9 y; B, M4 e, W5 g" gｌ ｓｉ
; W  W- I+ e6 b* L% D- ]! N. H& U& v) jｍ
, {4 w; I  R. R* h! E& E－
& {$ A# D+ B" E( |ｉ ｌ
ａｒｉ ｔｙ
ｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
& }+ T5 T( R- y' CＤ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
  i) U) ?. y% r5 C7 C，
同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
; [" J7 C) }" O! U7 fＳＳＩ
6 g5 e5 K8 P" d: O* G8 \Ｍ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
，
细节质量等局部信 息
# X" Q; G$ m# M& c6 I- u6 L4 L4 s。
, P+ c5 w7 V# d( h$ m( B& A9 p& x通
5 Q/ h+ R9 B- K) L过
三者 的结合
，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
，
同时 评价
合
成后 的 图像 与 输入 图 像相 比
+ ]! E0 q# o& ~0 s8 ~5 x，
3 r  Z2 Y- v" M; ?" B6 Y其 中 的人物身 份特征是 否能 够得 到更好 的 保留


( T, q9 h$ d7 H# g& p0 v  ?