数学建模社区-数学中国
标题:
用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用
[打印本页]
作者:
杨利霞
时间:
2020-11-13 16:28
标题:
用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用
用 于图像生成的机器学 习 算
[size=22.9204pt]法
[size=23.1695pt]在人
[size=23.4187pt]像合
[size=23.6678pt]成
[size=19.6817pt]中
[size=21.1765pt]的
[size=23.4187pt]研究
[size=20.9273pt]与
[size=22.4221pt]应
[size=19.9308pt]用
* D; R6 z- _2 c" V- K5 O
# s3 L4 O) a4 d; q$ [
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
6 a7 R2 F$ L5 x9 |6 O
，
0 @3 d& K4 a2 w- M* d; x
尤 其是 基 于通用 图
& }+ ?+ N; t1 _1 O+ l8 F
形
l* L3 E0 P( _3 L+ ?- u# M
处理器 的并行计算技 术的快速发展
& a% Y9 p6 |# a: M
，
6 C* C: j7 ]2 e; ^: H6 \+ A9 }
机器学习 领域获得 了 快速的进 步
) a) O& l5 [0 ^9 M
。
7 C+ z' m" `3 l4 H7 ?* G
随着 基于
5 [6 H! g6 q$ p( K. x# J
卷 积神 经网 络的深度 学 习 方法的 出 现
# s" T' b, \- ~/ H5 e4 }
，
( b- r9 x; Y6 E& z6 c! Z
．
. L' R6 ?, O, n# h7 f
传 统 的基于 数学 模型 的机器学 习 算 法在
9 M/ M) D2 k' z; }: P- [. J
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
$ Y5 t, Y! V: o5 R
，
" v1 X2 g$ g+ C$ m- v2 V
尤 其是 ２ ０ １ ６
. v# d" ^( q( s8 G: d
年 以来
8 Y# \7 f9 }+ w
，
: q1 a& n5 J8 [" v6 \
基于 生成对 抗网 络的 图像处理方法
7 X$ v* a" v! u5 X
，
% v* P) W n' b# ^
在传 统 的 图像识别
9 E. i/ A- i! \: }7 L* B+ j. g
，
5 X# I$ }) t$ O
图像增强 和 图像分 割等
) V7 Z! Y, G6 w/ o# V, A7 I- Y
领域之外
- p# G# p& K7 v9 G
，
' G" n. c& n' G6 L9 s& X3 q
还实现了 基于 先验知识 的 图 像合成
: T& x0 \0 D. [6 B' M. l
，
, M/ F H+ @: J0 m: d9 ]( g+ t
但 图像合成过程中 仍存在算法
) F1 V) m1 X+ ?9 L
结
3 I S `* u2 ^$ X) M/ S& A
果不 容 易 收 敛
$ e* q: i! O- S0 @0 X
，
4 M) o1 l e5 I6 a7 C3 _+ p
计算量大
9 j7 D2 N& F9 u1 }
，
! ?$ [4 b9 x" Y. I9 b6 k
优化速度慢
2 q! s. ?1 X3 K. _; M
，
" g( @( i& [( k& U& [
图 像劣化 等 问 题
" v. c5 v& L; n. M$ {: q
。
/ D0 w# R! R6 o4 j2 a: \! d
针对人脸 合成 图 像
% w+ U8 s$ z3 ]1 i! m0 y$ U1 A
，
/ D; m* P; E" z* i$ {" m( [3 f0 G) f
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
0 J+ J1 i6 q$ H. S k& {
节还 原度
# m" k) n6 E7 O; E3 b
，
' R. M, u! c) ?0 G0 Y* }* L6 q% A/ T( ]
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
+ e1 p n. f- @# o; p
一
$ U3 M# [+ Y/ t- c$ I5 J6 [
致性等方面
" s: _7 V$ l5 q9 B" H9 _" d1 m3 D
，
/ @' I0 k0 z! N& w- F0 Z" a: }# D
仍需进
w1 M1 b( p0 q2 E! F% Q) n# a
一
T- D% F# V1 C" ]; L N" ^ u
步 研 究和解决
9 P& }" y0 P+ z0 A) R6 w. }9 G
。
1 B. M4 u! y+ Y; G
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
8 ~2 ^$ u9 c6 E$ |$ k; o1 T3 z j5 w+ ]
，
) m) x8 G% c: a. _6 ?+ `
将合 成过程分
# _; O) @/ J" Z& L4 `% k3 }
成
6 W. z- t1 p: a0 V1 g4 O; V
了
+ {1 V3 n9 ^+ b( M& I8 O
３
' f) |) ], @: M
个 阶段
$ l0 c4 }! }/ x3 t z
，
' S# N6 Z- l( {+ x
首先 是 图 像中 目 标主体 的分割
* M3 F. a& q' \( a, w& S5 \
，
( F0 _+ G0 X. a% ]3 }& G" C* v
其次是 人脸图 像的合成
+ x" w- g- g* M7 x2 Z/ O# d
，
; E+ q! x$ k0 [
最后 是 图
% O& A5 o. s5 B# ^: i/ i. Q2 ?
像的 超分辨和 画质 增强
, n4 \3 J" J8 M( C
，
( e3 M/ V) u$ T
实现 了 人 脸 图像生成算法的 识 别
) S7 K9 s% P# y B3 p
，
% ]$ a5 X# o! |1 y
分离
6 s& R: R- g* ~7 V E) K) N
，
* j0 q9 v) E8 w' U
合成和 画 质 改
6 P2 {! |6 W+ l+ @3 `# _& `
善 的 全过程
; ^2 Q2 C2 v n
。
# ]4 b+ a3 k" G0 q+ B O; N
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
% Y: f; O _5 S3 j( r
，
2 I$ ]( q! f2 \9 ~4 q& c1 O) F
本文 主要解决
. n, f0 }* j, T6 N% T/ z: W
了
) L+ J# Y4 E5 Z$ ^8 `
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
+ {2 C! Z0 d! Q6 x, {& u5 f
，
7 S" _" T1 _0 s' O" }: W
主要
" H6 ]6 Q e- m' i% Y8 \
工
% k* s9 K* q& k+ P& s
作 内 容和 创新点 包括
- W; d+ W# m# @
：
" Z; W- ~& m5 f9 x. G5 g
１ 、
/ F$ z, ^& o) F) {. r
基于颜色统计信 息的 高斯混合模 型分类算法
, z8 w+ }4 w/ e4 q% k8 h1 m
，
6 l& X' d, I$ W! X7 n
设计 了
( \# f! F( g: \ v! @
一
$ @) L/ ^' l% n
种快速图 像分割
. l, _' |: s* S. `0 R q% s: ~1 S1 @
算法
* K* N/ M2 q0 s- d! f
，
% y. y9 k0 M6 h0 W
该 算 法通过逐层 二分法
% r1 F, I- n9 |
一
: ^8 v" D* Z+ Y: U; x
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
6 E, D" H) I3 u$ g% C
，
, }* v) \3 L7 ~% l5 y
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
; j0 n% ?5 U% k; b9 G
。
6 F. q6 @" Z( r
该算 法不同 于传统方法的 先 由 轮廓得
& l. z C2 m7 `1 f0 }& o
到
1 E/ R' e+ q _% r& s {
连续的 边界
: s+ w* O& }! _6 R7 c9 H4 X8 y
，
: k. L% I8 f2 L& E0 c' b
再得 到分割 区 域的 做 法
! v0 C2 X- T% P8 W( M I `
，
# B: G% B. Z9 {3 B' C4 ^
而 是 直接基于 颜色 统计信 息和像素分 布
% }% X1 v! Z( X/ B y0 j
的
- T3 R: L7 R& x' @; N
形态学特征进行 目 标 区域 的划 分
) |- z, F$ i& [% ^
，
7 w1 G z2 U, o) _* ~9 c2 f w% r
减少 了 边缘分 析的计算时 间
+ `7 b f% |$ \$ |* d7 z
，
" b+ F Y- H1 i6 k& V# [
且对 目 标 区 域
" @( U! V2 D7 x
进
3 D' h- w0 H. e) P% |% N
行分 割 的同 时 即 可得到相 应 的 区域边界
8 C X3 z0 t2 B0 g8 V
，
/ E- N( A1 z/ H
具备很 好的鲁棒性
* Z7 I3 O- k" ?, w: O2 O
。
' \: {7 ~$ R, ^5 Z3 }" G
２ 、
1 `9 {. Q7 h- m# J
从包含 人脸的 任意 图 像中 截取脸部区 域
! J$ ?0 O4 W( L' ~+ ]
，
; m4 N, [1 I: W6 L" |
经过背景 虚化
! I& G( A0 X4 ` b7 q
、
# j; n7 \8 F( r2 s0 ?
缺失部分 补
8 {% ?: i- F8 L) A
全
K4 S! q6 @9 X
等步 骤
, a$ F, ^! S" b. y/ H
，
; I5 W5 u) w$ c) E& f3 c- W
基于 生成对抗网 络进行标准人 像 的合成
7 @1 i( y, t4 B- i. P" z) U
，
' _! B, U4 P8 m* h8 h+ e6 Z# e" C
合 成后 的 图像具有 特征点对
8 s }0 N5 t/ b- q; y
齐
+ m! _1 O0 C( E2 U0 [
后 的 人脸位置
0 [! ?5 i. {/ R- P
，
% U$ t0 [2 [; y
且脸部 及肩 部
# \7 S6 d) O8 Z: K
、
1 p- q) F5 }0 |$ g6 k. H; b# Z! t( e
上半身 等部 分都具有 统
" W! a7 G" a2 T, d
一
9 ]+ X7 ?& n- v2 q
的 分 割与合成 效果
* Q" R( E( d+ q3 a+ N
。
" b: y- _; k& V+ {! Z- N! E
该
; T/ H8 T5 u" Y
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
2 k; Q& I8 L5 T4 d2 U' C
，
! s5 Z$ e1 \+ v! D
可以 实 现人脸 图 像 的标准
/ Z/ w/ I1 }0 d' b! ?
化
, t3 u7 B; G4 `1 A
，
* O. F% A% z8 D6 U! i: o- x) I/ M
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
) y* \5 ]% Z) ^2 O$ H; r
。
; X( ?- j8 X, C- F* X4 ?
该 算法可以 作为人脸
6 v5 ]. `3 p$ A/ }1 ?4 ~. \" H
识
; O+ I7 h& n' c, _& s1 w$ K4 Y- n' W
别 后 的 处 理步骤
" Y" G5 H* c3 p% q/ l2 v" `/ T
，
& L+ @2 P) Q* v7 F: b0 d8 C/ X- A/ N
处理后 的 人脸图 像 相 比 原 图 像具 有更
9 {* |& u0 P0 ]5 `# z1 f, L8 \
一
$ o6 c( \6 ]- ^# @6 M. y/ l
致的 图 像模式和对 齐
% e. E6 B6 h% g9 t
后 的人脸特征 区 域
$ ~+ a: C+ v6 e* v
，
! `7 x; }" |6 l- B9 N O
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
0 z) T/ j+ M: |) i7 i4 j$ B2 K
，
# T3 c! r9 O, q! D% \; I: E6 {
有效改 善
9 g' c n, q9 J" [# _/ Q* Z; S
现
) i- ?- D" Y3 y, P2 N' |
有 人脸识 别 与分割 算法的 效 果
( b+ R+ o( D8 T# E
。
" i6 u; A9 N8 K5 K
３ 、
1 Q. t/ d' W5 S& v& t9 D C( M
最 后本 文提 出 了
8 i( o! W4 i2 z5 L. l$ Q" J
一
* m% Q3 W9 q \
种 针对人脸 图像进行优化 的 超分辨算 法
; O: C# A6 {) H, I: s/ w4 v# o
，
0 ?* ~2 z8 [1 _3 ?" L3 }
相 比 于现有
5 x. Q2 M' l1 x, R( a) m
的 图 像超分辨算法
; d$ ^$ C* L2 L0 M
，
! M( A& t7 f* z, p
该算 法在图 像 的超分辨合成过程中
: t: [* t7 h; H4 j7 ?
，
9 v. J& h6 P4 C! d
在关注合成 图像的 质 量
* _" K! ?+ w6 q# v
Ｉ摘 要
b8 t0 m2 m; |* k8 z) `; E
和更加 细致 自 然细 节 的 同 时
& M8 V# U! [6 ]) E
，
8 o3 g1 A0 _- O$ a2 J* }$ B: \
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
% j# _% R0 b0 W1 E4 |
一
/ j% r9 Y, A( |' w. f* d
致
) |$ G3 z+ q' c; B$ j4 @3 ^
的
5 y+ @; W* ]* [+ D; ?2 x6 s
人脸身 份信 息
. P0 p. Z5 O" J" j
。
w( w x. @5 r: r3 s/ y: F
算法通过引 入 生成对抗 网络和残差 网 络
: T% K3 x4 g( H) p2 z% ~
，
5 b' j( D. [6 u
实现 了 上 述 目 标
) L& C# C3 v9 e9 A. c; \
，
3 @0 W( Q9 p, Z+ l/ Q+ j9 j
可
6 w' e1 K; B4 X
以
^( X: e* W3 g9 i5 j# j# {
实 现图像 的 ４ 倍甚至 ８
# m; I0 j# |* K+ U1 \
倍的 放大
/ F4 D& ]2 h: o+ s9 j7 P( T% ^. ?# s
，
2 d$ w, z4 l3 K6 c9 T- _
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
6 m6 z! J# ~- ^+ ?; Q) P9 E
人脸信 息 的 高分辨率图像
; A& u- \0 t8 _
，
3 U7 y" `/ Q0 ^2 h
同 时算 法具有很好的适应性 和 鲁棒 性
# R7 E- }3 f3 c" A5 L
，
" ^$ `0 J( @ ^3 F
对于 不 同数 据
8 J- y2 F3 a( Q: e0 X
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
8 Q: }$ L7 j5 r3 }
。
7 v+ u% N3 O% e7 r* K7 ]6 `
该 算法采用 了
& E# k; J- `) d) A2 r8 c. z9 M
一
3 c0 X4 ?! v( i! G1 @
种 端 到 端的 灵
, B2 U: m- G/ S2 j3 D
活
! o' G/ x* z, x
的层叠式结构
0 `6 z- J6 ?; F9 m
，
) q W4 P! Q# c/ t, H# b& R% k
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
, j1 @5 C3 N# o0 P" @; x
。
; l6 ~+ |+ O! a4 X4 j; y" I1 t
４ 、
$ k) U; E6 D/ i' W& ~) k0 \8 w( d
本 文在人 脸合成 图像的 对 比过程中
9 q& x% m5 F9 Q% J
，
- `! K$ t h8 ]
提 出 了 使用 Ｆ Ｉ
4 C0 g! y8 C( c R% y/ h) R
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
/ p3 J- ~4 f- f! m! {& }3 ?
ｏｎ
6 `" O' Y$ O. G* K7 _* X( d3 V
Ｄ
7 t" C/ m0 O' N2 a) S1 R$ A
ｉ ｓ ｔａｎｃｅ ）
4 G6 s8 ?8 E0 l$ f/ E
代替 以往 的
! _- H, C6 [! I$ @- G: k3 {
ＰＳＮＲ
* S9 m7 L- `. p4 _/ F
（ Ｐｅａｋ
7 `( o, J" U0 M0 u/ H2 | N
Ｓ
& J" R+ l* H! Y& e, d3 ^- L
ｉ
" W9 v& `( H8 N/ T7 i6 i; t
ｇｎａ
# P! O3 T" v1 ~! n- V5 \
ｌ
/ \; t$ W' H5 X; I- f G
－
5 e I) ?& u' n5 h& j8 @# G
ｔｏ
5 s9 G% m7 |1 r5 P: o M! x
－
7 C2 w# x8 q. d, g8 h
Ｎｏ
0 _" `$ L, v: u) W
ｉ ｓｅ Ｒａｔｉ
- X4 X8 ~. ^) p5 x
ｏ
' H; h4 b+ I8 v! T
）
/ U! n, m: Z2 g6 _
和
+ G$ N1 ~) ~4 ~ m2 p# c
Ｓ ＳＩ
- \+ F( u$ ^. l
Ｍ
- i6 B' V( _1 E k9 Y1 M
（ ｓｔｒｕｃｔｕｒａ
! e) d8 U! u: K4 t6 U3 p. l; Z
ｌ ｓｉ
( v$ a" v7 W* z/ Y) ^* C6 ?
ｍ
. I s9 I$ U5 v' u9 O$ q, ?
－
: f4 C$ X3 \3 p* x& B
ｉ ｌ
0 j. M2 s! S0 m+ ~2 X5 S
ａｒｉ ｔｙ
' G6 T# Y8 {+ Z$ {
ｉ
% I. I0 n. g( D8 v8 z) W" h
ｎｄｅｘ ）
" r: Z4 \! c7 C
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
" {7 R1 U: o* H8 V$ c: j. y
，
% w- {: K6 f' ]7 ?8 C
因 为 ＦＩ
! p( }0 M! @: W: B& {
Ｄ 值能
# J7 ~* m7 T f8 Y6 s5 h0 V. H; Z; }
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
* | @8 b0 p( \& F. a8 h- O9 j2 t
，
' D' u. ?( l" c
同 时通过全局 特征 信 息 的统
5 Z% v' O9 V5 K) m, {7 l4 w6 d% a
计得到 图像整 体的合 成效果 与 原图像的对 比
8 L2 H( r1 f8 S% n+ z$ l
。
! N, V, _! }8 ^6 L3 V/ ]: T* ?
Ｐ ＳＮＲ 和
; i: ]* x: R) i4 ~
ＳＳＩ
7 z X: n* f% V1 V1 y; I$ q
Ｍ 则作为 图 像局 部细
, ~' Q" c v( c
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
( W; ?2 ~" ?% R" m
，
! e# n6 b) \. {- k; R
细节质量等局部信 息
4 C6 `8 J$ e" l% ~) E' o
。
" k# o: x) @0 N
通
: |% C4 O# S4 S& x, p
过
3 v) r( C' v, T8 q; t& a5 q/ N
三者 的结合
( y4 V: @' L8 _. C
，
. z2 k- I. ~5 }0 w, n
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
+ x$ A: C# @% w& t9 H; R7 F
，
2 C5 [- A% _$ Y, s* I- L
同时 评价
- I* P A# P/ ?5 b r$ y
合
; `8 M; S$ e+ E9 H" B
成后 的 图像 与 输入 图 像相 比
+ O9 W7 |6 I! t4 L
，
- x& ?+ g1 `% q$ O5 v+ I8 K
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
( m6 d; Z$ Y9 p8 ?
% E$ S l3 x( u0 S# }8 ~: y6 ^6 y
# F9 s$ s, S; E1 @8 ]3 g+ R
) r! _% \% x A9 U0 _3 |( Y
4 N$ _- d9 r& ?2 r8 }+ d
7 h* t& n4 K, J. C D9 ] l
用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用.pdf
2020-11-13 16:25 上传
点击文件名下载附件
下载积分: 体力 -2 点
21.13 MB, 下载次数: 2, 下载积分: 体力 -2 点
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
