用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用

0 @9 Z2 |; J" D/ j随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
! \% u$ B9 W# c) Q( A) c5 V" d/ \" y; O，
( C' Y, c6 H  I9 V2 X尤 其是 基 于通用 图
# [1 ?! ^: B2 F+ g7 L8 t( m形
1 k9 [6 Z* ]6 c处理器 的并行计算技 术的快速发展
，
; z8 [6 n# \  w$ v$ R) J% \机器学习 领域获得 了 快速的进 步
6 j. a: R4 p1 G  s8 N3 q' G: B。
随着 基于
3 K# W. z& c5 z0 P6 y卷 积神 经网 络的深度 学 习 方法的 出 现
，
．
8 e$ C! Q4 S* Q传 统 的基于 数学 模型 的机器学 习 算 法在
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
. F2 k7 Y: n7 }+ y9 T  A，
尤 其是 ２ ０ １ ６
年 以来
，
, e( q- g4 l/ F6 t( e基于 生成对 抗网 络的 图像处理方法
  Y+ I4 @* {! ~4 D，
2 N4 u3 ^6 o( Z/ ~  u* X9 s5 [在传 统 的 图像识别
; B. X8 A; E( N, [: M5 D，
图像增强 和 图像分 割等
领域之外
，
还实现了 基于 先验知识 的 图 像合成
' l9 k4 V0 _6 S$ y( U) }, M，
但 图像合成过程中 仍存在算法
4 e9 G+ {9 K2 G' U4 v结
4 C3 C' l* T- ]; |6 B9 i* C/ c果不 容 易 收 敛
，
计算量大
  g7 G1 I6 a) ]' t+ r4 O6 t，
! R% h: K3 Y/ R" b8 f$ z# Q/ N优化速度慢
! J8 n. z2 h( |: A2 B9 {% C，
! b' z' @* X) e6 h/ n' h图 像劣化 等 问 题
4 @1 C& Q7 G7 n* g。
针对人脸 合成 图 像
，
7 f! a% \& I/ \" V已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
0 o, e' f: \) V4 \3 s3 Z4 f# Q2 `6 I; d，
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
4 q9 M% F5 Q, x* z4 X- V: P* s  k，
仍需进
一
步 研 究和解决
7 s6 b6 S# J; \6 C。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
将合 成过程分
8 _2 y, w0 T) e; D# C成
/ U+ b! L; M1 T) K* n% b0 _0 i了
３
- }+ i( e7 E1 E2 v3 C个 阶段
/ u4 M5 {$ J0 R3 W" ]2 n，
首先 是 图 像中 目 标主体 的分割
6 ]/ B  M8 l7 i; A) H' W9 b，
! P# A) z- Q+ v1 p9 y# b4 F, s其次是 人脸图 像的合成
' e# E7 }! {& d) a+ R- q+ p2 l，
最后 是 图
像的 超分辨和 画质 增强
，
* o% Y- y  @+ U+ O: ~9 x实现 了 人 脸 图像生成算法的 识 别
，
% Y& p- ~! _, U" Z+ B9 |分离
9 ?. k- T$ N/ o! I，
合成和 画 质 改
善 的 全过程
' m; a: |5 l1 K。
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
' S6 C* b" g7 R8 U' d0 D，
本文 主要解决
4 S2 X5 c' W( `" `  `* c0 x. e了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
5 Z$ m0 L7 f0 m6 A，
主要
工
" t% U1 }- d' K; A4 F1 B作 内 容和 创新点 包括
：
+ l0 h/ [% e0 M+ d) ^7 a１ 、
' T9 K$ h- f# r8 C2 U3 f基于颜色统计信 息的 高斯混合模 型分类算法
，
- [/ _4 l( t9 _设计 了
一
% p4 _; }9 k- z1 |3 O$ x种快速图 像分割
1 o* C, r9 \2 h: L9 X" Y算法
，
该 算 法通过逐层 二分法
" U0 r: S2 ?, ^; b( @一
) Y  H3 b  p4 C次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
" g$ U. O& K# L0 d。
该算 法不同 于传统方法的 先 由 轮廓得
到
连续的 边界
，
/ L* b$ @7 F6 o6 G% Z再得 到分割 区 域的 做 法
; m6 N! K. Q# e" h; K) z$ B，
5 f: h  d: x) F" \+ O# H0 ]而 是 直接基于 颜色 统计信 息和像素分 布
4 ?6 g9 g( a7 Z- `4 f. a. _3 O的
形态学特征进行 目 标 区域 的划 分
1 V2 y4 R8 ?2 Q7 B9 K( ^+ z2 x3 K+ s，
减少 了 边缘分 析的计算时 间
，
且对 目 标 区 域
进
行分 割 的同 时 即 可得到相 应 的 区域边界
) {/ B8 B% x6 M，
: q/ k3 C  T! u具备很 好的鲁棒性
。
２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
! Q, A! V$ G  c& h' Q2 d: H，
3 N' d& y/ R  b& c" v经过背景 虚化
( ?1 R3 F" u9 f+ D/ \、
! T' D: ?% N# F) n; X+ G2 l# w缺失部分 补
9 T/ o" K. a! G- ?3 r全
, ^9 C$ p* U% V- |' p* ?# m等步 骤
，
基于 生成对抗网 络进行标准人 像 的合成
，
' W% G9 W& a6 M- s! H; B( Q5 q合 成后 的 图像具有 特征点对
! I8 j) T1 n- B# \- G$ e9 v齐
后 的 人脸位置
，
且脸部 及肩 部
4 e, w" {1 V7 s& T3 r. P8 P、
上半身 等部 分都具有 统
8 N, y( Y( Z- V, t7 h& a" P一
的 分 割与合成 效果
& S5 O0 z: n% t8 f。
该
  y; B! `) p" j) A方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
+ e% X: B7 T3 S2 T" Y! H，
4 `4 D$ t( `# w% B4 S+ b# L可以 实 现人脸 图 像 的标准
8 E- d  G( O: Y. {化
，
3 _6 Y+ C8 ?  E9 x# A8 @6 o同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
: Y3 s- j5 v9 G( K: J0 h" I. n。
该 算法可以 作为人脸
识
! c8 w) c: G1 u$ @  i6 w别 后 的 处 理步骤
( C2 G/ e/ I( j，
处理后 的 人脸图 像 相 比 原 图 像具 有更
一
5 D: J$ ?/ {$ U致的 图 像模式和对 齐
" t6 u+ [* T8 t2 b% N& R* p, Z  q" M后 的人脸特征 区 域
，
9 I8 T3 u, v1 n同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
% q, c- W% P7 [' x5 m* j8 Z( r% I5 j/ w，
有效改 善
# ^1 j: y0 B# r' m; J% X" k现
有 人脸识 别 与分割 算法的 效 果
5 g! b: ^' V; }$ U# ]7 s  F。
! y# Z5 Z) B; e! C, ?３ 、
$ J7 \% T1 b( `3 K+ _) J% W最 后本 文提 出 了
! ~' D" @- N7 u' p* s一
0 h$ ?7 Y! ~! c! x  N: ~种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
的 图 像超分辨算法
, q) |$ h  A! J7 {: l: q/ x# M，
3 z4 E" s' ~" l3 {+ ~: p该算 法在图 像 的超分辨合成过程中
7 }, u* o2 y1 `6 f! p4 ^，
" F1 c# Y6 J. f) }. L$ \在关注合成 图像的 质 量
( W8 x6 r3 j' L( a. b$ MＩ摘 要
和更加 细致 自 然细 节 的 同 时
，
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
  i& M7 b6 t/ J. D一
1 M! C4 f, _6 @1 u; ~1 p. Z; M$ D致
/ b$ G7 Y  Q, y+ ?的
$ P' u6 N$ f# p( f: c1 k) D5 K4 ^人脸身 份信 息
! h: ~' y) r& c: O2 V。
' h* J7 Y; x5 D% P6 ]& t7 m& ?算法通过引 入 生成对抗 网络和残差 网 络
，
实现 了 上 述 目 标
( S$ x- r. P% n+ Y$ e/ ]，
可
- k6 V# J9 N3 |8 f以
: @! N3 I: N  a) x6 E实 现图像 的 ４ 倍甚至 ８
倍的 放大
，
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
8 m- K( H4 @- B" B  F! V$ }人脸信 息 的 高分辨率图像
9 n# O! S% t- e" X' L; c/ ^" W* x3 a，
* @" z: b; Q6 N3 V; L9 y* I( e2 X同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
" i& L; y6 }+ ~3 p6 P$ d库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
4 o- J. i0 t3 K) j9 f该 算法采用 了
; [) }  ~6 {; X7 @! l! S3 V) I一
种 端 到 端的 灵
活
的层叠式结构
9 Q5 j( b* z/ {) N2 x7 E9 Y，
/ I% L- ~; j9 I! B1 p0 a可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
7 b, q7 ^* `8 \) y4 }４ 、
1 m1 N1 V6 ?" a" W/ w本 文在人 脸合成 图像的 对 比过程中
! }7 G# i) w0 S: l8 V. t2 w! R，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
) \+ c  b$ G& q) W8 p3 b7 Rｏｎ
Ｄ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
ＰＳＮＲ
% a# c- r: \1 [4 O. _  ~（ Ｐｅａｋ
! J# M5 Y6 Z5 R: E6 R6 hＳ
6 r2 ?6 J) ]- b+ B9 X& U) s- g9 bｉ
) U% {0 ?! }" T7 L0 x8 Xｇｎａ
' e8 O) v& j& Kｌ
－
5 {( W. y5 M9 k% F; }/ yｔｏ
5 p$ n2 ]& V, b－
Ｎｏ
8 F7 U3 O" n+ G! Z2 Zｉ ｓｅ Ｒａｔｉ
7 j- D6 w4 K7 E% ?9 kｏ
! C( h, g  W6 a）
和
* X! V: X# P# R" e6 q$ u, yＳ ＳＩ
6 q$ y' s: X* E% l2 zＭ
（ ｓｔｒｕｃｔｕｒａ
ｌ ｓｉ
ｍ
－
ｉ ｌ
+ E( V9 {0 F4 Y% s# f* S; X& jａｒｉ ｔｙ
ｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
) q( g. K1 \, g0 E6 K1 r: Q，
% O" f- k. `' G3 K  ^: p因 为 ＦＩ
Ｄ 值能
! {3 m% y0 t0 l, k8 \够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
。
Ｐ ＳＮＲ 和
5 v/ ]8 c: p: p. h+ d  rＳＳＩ
6 ~0 A" ]7 g5 n( J0 b5 s5 RＭ 则作为 图 像局 部细
; r6 G9 {+ t/ o1 A! b节特征 的评价标准更适用 于评价 图像本身 的清 晰度
* H2 E/ X7 D- h! Y# \" f) p，
细节质量等局部信 息
。
$ K; n2 d$ Z8 W% r3 f2 \通
过
三者 的结合
，
& g+ d  q7 X" @9 X% p: ^4 E- R可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
6 `6 R% V* b/ `; r，
同时 评价
合
成后 的 图像 与 输入 图 像相 比
' a7 p/ d% O) d，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
7 I2 g+ h7 P- b' m! B
8 M! h3 M2 f  Y- \% ]0 `$ L

! a% A9 Z0 e1 {
% s$ r! V# d, z. i- ^2 u. B1 w+ v
8 ~$ r5 d! w7 r3 D. A$ Q