用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用

杨利霞

用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
7 N7 \* @+ q3 \, Z
0 g3 e/ Z# t# o9 G  r; c随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
，
尤 其是 基 于通用 图
形
7 ^! O2 C0 D0 \处理器 的并行计算技 术的快速发展
" `" i8 I% W6 Q0 j+ N，
1 V- D3 Z, f% g2 ~. D' O5 ]机器学习 领域获得 了 快速的进 步
。
/ b! H/ {- i) @/ U; I; R* D随着 基于
卷 积神 经网 络的深度 学 习 方法的 出 现
  o% N: t1 m0 \0 X9 [- ?# r6 t，
．
传 统 的基于 数学 模型 的机器学 习 算 法在
. U/ |1 f6 h: O0 z很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
，
: B5 @( V7 H* C( R. ?0 `+ o& r5 k尤 其是 ２ ０ １ ６
+ c  V# [  K' m* K# \0 n, B年 以来
，
基于 生成对 抗网 络的 图像处理方法
5 f; v  R/ L! S. ]" s1 t，
7 u/ d6 y* o6 y5 z9 k" z9 \在传 统 的 图像识别
，
6 f' X) H. o, h) a图像增强 和 图像分 割等
  D+ ~0 _3 d; r: }) ~% C领域之外
，
( R0 C2 x, O0 W还实现了 基于 先验知识 的 图 像合成
1 {" i8 F: J  P2 x! G，
但 图像合成过程中 仍存在算法
$ o+ H6 i$ `1 s结
果不 容 易 收 敛
7 _: |2 S  z8 B# Q2 h4 h，
计算量大
，
优化速度慢
，
: b% X- ^3 R4 @3 q( W/ o图 像劣化 等 问 题
) A, U0 d6 f$ T5 ?" ~* W。
- H+ Z; X8 A8 J3 f4 K针对人脸 合成 图 像
5 ?# w9 B2 M  N( l) N, c，
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
节还 原度
& ?/ E! M7 j+ E, c，
9 e+ c8 X5 p! `/ a而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
一
致性等方面
，
仍需进
一
步 研 究和解决
。
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
，
* U# F. `( i$ [3 ]将合 成过程分
成
8 n/ x) z7 [7 t了
2 Y) U9 t4 U- ~; J( ]( Q& N- E3 F8 t３
个 阶段
，
" `2 @1 y! z1 s* n/ n; L1 r首先 是 图 像中 目 标主体 的分割
- |6 h( u9 w/ j，
) V$ d7 `1 e+ N其次是 人脸图 像的合成
, M4 M, y9 c# t, [! e2 x! h，
! X" a# ^: ~0 e! `4 ?% n最后 是 图
像的 超分辨和 画质 增强
，
实现 了 人 脸 图像生成算法的 识 别
，
分离
- l4 F, w! M) X5 ^8 H，
. C) W9 }3 @4 C& P合成和 画 质 改
善 的 全过程
$ z( `. A+ ]' X1 t。
" [8 Q4 K0 g1 I针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
2 z/ n2 p$ V/ F9 D2 B，
本文 主要解决
: I" j' Y1 L) ?6 O% Q了
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
，
主要
工
作 内 容和 创新点 包括
：
１ 、
基于颜色统计信 息的 高斯混合模 型分类算法
，
设计 了
3 G( {% O6 _( m: e一
" N$ I" l0 y2 i, k# F" J& v0 ^. M种快速图 像分割
算法
1 y7 |1 C; Z8 O7 @' D6 J8 O，
0 J8 u- d# \6 _该 算 法通过逐层 二分法
一
5 v8 x" m  g9 u/ m4 G4 `次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
，
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
6 `& r* w. O" ]/ c。
5 J" h/ A( q* A6 o; ~该算 法不同 于传统方法的 先 由 轮廓得
2 [5 [: p  ^! ~& R1 F' X% A- @到
连续的 边界
/ Y& T4 k. b' a3 V7 J, z  z. b0 N; u，
2 Y6 B* g7 }3 b再得 到分割 区 域的 做 法
: ?' x! o1 o* r! x) D; Z! ~，
" [  K  n# ]) V' y而 是 直接基于 颜色 统计信 息和像素分 布
的
形态学特征进行 目 标 区域 的划 分
，
减少 了 边缘分 析的计算时 间
，
( v4 T/ y" r8 q' v且对 目 标 区 域
; X) q& _" D6 W1 `3 H3 I( {. N进
行分 割 的同 时 即 可得到相 应 的 区域边界
，
# Z" n+ C+ u( Q: T具备很 好的鲁棒性
。
2 h9 p* g7 ]0 K# W! I5 o0 x- Z. r２ 、
从包含 人脸的 任意 图 像中 截取脸部区 域
，
经过背景 虚化
/ B' n6 Q- B% W  M' u、
2 u# s9 X! P1 V# ]2 D, e缺失部分 补
全
! I$ q$ W# C  [' j等步 骤
% A8 S9 |1 E/ S9 n& ?，
基于 生成对抗网 络进行标准人 像 的合成
. n2 N9 g5 Q  x7 f2 C，
, a8 F8 n1 {. K1 r7 I合 成后 的 图像具有 特征点对
& b+ R3 M" l* U0 ^4 c4 ?齐
8 `3 q" y) a/ a后 的 人脸位置
，
且脸部 及肩 部
、
) c/ H# b; d, z* a4 _; l上半身 等部 分都具有 统
% s& t* X' K- G: S" H% \7 N一
  H% z6 B& S( _2 ^4 ]3 J5 ]的 分 割与合成 效果
: f3 |  \8 U" h3 I  L9 |。
该
6 ]" ^6 l  b, |: W1 _1 Z: O9 B方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
6 R# l7 N9 D' R* V2 _& l; p，
可以 实 现人脸 图 像 的标准
' L4 a1 F2 e7 o化
，
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
。
该 算法可以 作为人脸
识
6 Q: [( K( G, {8 a% U别 后 的 处 理步骤
，
1 M6 M1 `! A& n处理后 的 人脸图 像 相 比 原 图 像具 有更
" }7 M5 ?1 N2 G1 ^一
致的 图 像模式和对 齐
后 的人脸特征 区 域
，
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
，
有效改 善
现
有 人脸识 别 与分割 算法的 效 果
。
3 U0 E2 r/ j8 b３ 、
最 后本 文提 出 了
一
种 针对人脸 图像进行优化 的 超分辨算 法
，
相 比 于现有
& Y- Q8 N8 M: J1 T的 图 像超分辨算法
; y9 G8 d0 L5 u' x% M，
该算 法在图 像 的超分辨合成过程中
，
9 H: B% H0 X# T* B2 v在关注合成 图像的 质 量
9 d3 W: d6 _( l4 K7 p" {Ｉ摘 要
和更加 细致 自 然细 节 的 同 时
" r" u9 x0 V1 h: v  ^& |，
; H1 C4 a- W2 M) W; @# a$ x+ i更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
一
致
的
人脸身 份信 息
4 Z4 k+ s' }3 g8 w( K4 P! @  E。
算法通过引 入 生成对抗 网络和残差 网 络
7 w* p9 H$ R4 t+ \& B/ S- X，
实现 了 上 述 目 标
，
可
  Q$ h1 e: z( p& _5 {( }7 D: r以
实 现图像 的 ４ 倍甚至 ８
倍的 放大
2 F6 v4 t  q5 c& b1 D' C$ g，
! ?6 {% L7 ^" b( h2 E7 q+ ?  F将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
  d0 s) z* v( T) `+ t* J人脸信 息 的 高分辨率图像
，
同 时算 法具有很好的适应性 和 鲁棒 性
，
对于 不 同数 据
; b7 t6 Q8 U: |( Q库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
。
该 算法采用 了
一
" l# n! k! |" c- F& R: D种 端 到 端的 灵
; D) A7 e& q! V5 m" E活
; s9 a# D; i3 Y7 C的层叠式结构
- o3 y' }( g) M) k/ |; R，
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
。
４ 、
本 文在人 脸合成 图像的 对 比过程中
，
提 出 了 使用 Ｆ Ｉ
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
ｏｎ
4 F! x' }6 T* t! `, QＤ
ｉ ｓ ｔａｎｃｅ ）
代替 以往 的
ＰＳＮＲ
- A8 a; ^, U# R' X* A( e; I+ J（ Ｐｅａｋ
9 c- ~  p1 ~9 @  B! ^3 B: uＳ
ｉ
ｇｎａ
ｌ
  u  f- x1 ]' D0 j－
) ?7 v1 m$ H8 J- Y% K9 w0 Rｔｏ
7 W; j1 j/ w. O9 z( X8 ]－
Ｎｏ
* a1 i; Q) `$ Tｉ ｓｅ Ｒａｔｉ
8 u/ x" _- H  I2 y  U7 O, Q* q* uｏ
）
和
Ｓ ＳＩ
" M- X5 U6 f: f; B$ nＭ
/ l. M6 s% T) ~（ ｓｔｒｕｃｔｕｒａ
' p( L; I- k* t7 M$ S' s5 mｌ ｓｉ
ｍ
－
) E, p9 o5 f  b2 f7 Qｉ ｌ
) T' N0 Q% G5 T- |ａｒｉ ｔｙ
0 U3 C% N0 \& sｉ
ｎｄｅｘ ）
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
，
因 为 ＦＩ
8 `; o; ^- m5 Q" x/ w6 T$ HＤ 值能
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
，
7 S( a- }' |) v0 g* V) D" e同 时通过全局 特征 信 息 的统
计得到 图像整 体的合 成效果 与 原图像的对 比
2 E8 c  w% e6 m。
Ｐ ＳＮＲ 和
ＳＳＩ
; N- s/ s& v& v" l4 V$ B% gＭ 则作为 图 像局 部细
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
2 h( k" O& E9 D: c，
细节质量等局部信 息
* s9 k4 v0 A$ h& N- W# u' p。
$ y! S/ R" g/ K0 o- Q6 M( e通
+ }: U6 z- Y- c2 G2 e2 _, H过
三者 的结合
，
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
: C: E/ D  \& \# J，
& f# a5 q/ O# R8 {+ s! _: w  _5 f: Q同时 评价
; P$ G" K* [$ T5 u: |1 w. J合
成后 的 图像 与 输入 图 像相 比
，
其 中 的人物身 份特征是 否能 够得 到更好 的 保留


7 V7 l, g4 f+ E& a5 {1 q: f" ~
9 r7 D! i8 k4 W0 R0 z; t4 F
+ y8 Q4 z) ~, Z' V