数学建模社区-数学中国
标题:
用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用
[打印本页]
作者:
杨利霞
时间:
2020-11-13 16:28
标题:
用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用
用 于图像生成的机器学 习 算
[size=22.9204pt]法
[size=23.1695pt]在人
[size=23.4187pt]像合
[size=23.6678pt]成
[size=19.6817pt]中
[size=21.1765pt]的
[size=23.4187pt]研究
[size=20.9273pt]与
[size=22.4221pt]应
[size=19.9308pt]用
O: R0 d, }1 s
7 t1 f$ |5 M- D/ Z* W0 h
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
; z0 r6 W( x, T9 F3 v; n
，
# u4 W# c6 e3 w5 c9 X7 ^9 Y
尤 其是 基 于通用 图
) m. a' Z! ]! A6 o
形
h5 ]2 u& N- W! p7 Q7 C' D
处理器 的并行计算技 术的快速发展
9 a0 u+ a( E" ?5 E4 Z+ Q
，
9 }; @) G: L E9 K0 q
机器学习 领域获得 了 快速的进 步
* U; O. A' |* m* \& K
。
. Y2 [* f! b1 h! b) \, P
随着 基于
" E* V0 m! M) i$ _. y4 S
卷 积神 经网 络的深度 学 习 方法的 出 现
* U6 u' d3 ~, @' _) h
，
$ R8 p# d5 y+ u; v
．
" t/ ?/ p5 M Q2 k! d
传 统 的基于 数学 模型 的机器学 习 算 法在
" v, |' k' v% T5 v: V
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
0 [ h3 p) _9 A8 H) M8 e6 R5 }
，
2 ], M6 p" K; i7 s! V. k
尤 其是 ２ ０ １ ６
8 N6 z- R5 b& b7 I% B
年 以来
1 u3 V! I' K4 a6 R `0 t
，
- ~( k1 z% V$ r, B: ^
基于 生成对 抗网 络的 图像处理方法
: n5 z) w6 Y* v, n. [
，
v( ~8 Q* A" }6 e# m% j/ y
在传 统 的 图像识别
' l- B3 y( H3 Y8 D$ g" e' Z8 k
，
% D0 U N* Y% a: o* a' {
图像增强 和 图像分 割等
5 W2 S: u! } A# Y, l H, Q
领域之外
$ u& `$ V0 ?2 Y) G8 \% ~
，
+ x! `( g& u+ }" s$ S
还实现了 基于 先验知识 的 图 像合成
2 ~) g% i: l3 r4 Z
，
. R( R5 B h' ~( Z: Y3 I
但 图像合成过程中 仍存在算法
: N2 k. R' u; y3 d3 P
结
6 M/ K8 C! z; l1 _- w1 P
果不 容 易 收 敛
+ K& ]2 s- n ]1 h& H3 D' }: I
，
& i' R' |' R6 J3 y+ r# R1 T
计算量大
# u( ^; O6 v, D, d0 Z- Y u
，
. t# o$ Z: V2 k) t& N* k/ y
优化速度慢
( ] l, q, F7 H! J- Q3 q
，
- Q/ b) B5 D/ x/ S, F2 P' _) O4 E
图 像劣化 等 问 题
$ U- _- ?% {* d2 q3 `2 A1 q% N* v
。
3 [+ F; E. @- c! W; ]. U; H
针对人脸 合成 图 像
3 o; I; t/ O& t& W# h
，
5 S3 P4 n3 `& l- m
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
n6 D+ O; b- v& i/ ?. g: R' U# f
节还 原度
$ t, Z+ H# p9 B# U9 b( }6 J
，
; M* Y1 Z M; O4 ^9 I5 H
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征
2 A5 t' R5 Q( U- c6 k
一
8 N( `: k0 \# C, B0 _' O5 G, k
致性等方面
4 g5 m$ H9 s) r$ p
，
- H+ _8 U* } ^1 _* l1 [! V
仍需进
0 a& I' i( O+ d
一
, I1 m1 a4 K; m7 \0 p
步 研 究和解决
7 d5 z- d* x5 x0 c3 x0 k! \
。
9 D; a+ W) T5 T4 K" y b4 a
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
+ @. A/ N- W' ]2 ]- {7 w, \& \
，
' l1 m% @5 I' R3 d0 s" U
将合 成过程分
) h% B3 C0 I0 G/ h0 k+ _
成
/ }( B; D; K6 p5 X4 W
了
8 A7 D5 _) u2 J0 J) X/ M+ o
３
Z5 `; o7 ^6 r$ J8 u. i* V
个 阶段
) y: Q: n. u& j+ z8 f$ c- ?2 M- z
，
( m8 U7 E9 e* Q' b: y& H# t
首先 是 图 像中 目 标主体 的分割
9 j8 E- W6 H1 p! Z/ o
，
E$ a, u8 ]3 g6 Y! |" h: a
其次是 人脸图 像的合成
( t; q: [# j" ~/ [7 e
，
4 A H G. m5 o/ i1 d5 i, f
最后 是 图
" \% b5 k5 a- Z9 Y
像的 超分辨和 画质 增强
7 I7 O- E; T4 U" I( n4 N+ n
，
0 N R6 N5 ?, V, M& ~* W
实现 了 人 脸 图像生成算法的 识 别
% I0 m$ Y, \9 {
，
( o+ x% N/ `6 r3 M8 h
分离
5 T$ @6 ]0 o2 Y3 O& d
，
( H( Z% v, a q
合成和 画 质 改
8 b/ Q$ p% n) b: g
善 的 全过程
, P5 \4 ^: U+ Q
。
: ^* f- i z x+ X. I( b* t
针对 目 前 图像合成及人脸合成研究中 存在 的 问 题
: b+ }2 f0 [0 A# `( |
，
# J+ T/ L; q. G1 {3 W( |' u% Y
本文 主要解决
& x# l5 x# I3 F* Z( y9 _/ Y! k' s
了
1 V% V% n- p* H V6 z
人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
7 m& l1 e D: y) f1 v
，
/ m, u {$ I5 e" l
主要
( U* c' W8 p& E6 z6 i5 O; [
工
F; K4 E2 c' s. M W; F0 m: |
作 内 容和 创新点 包括
# `$ ?; M* I. G5 h( x
：
5 H& T7 W0 D) {0 O9 Z8 o' \/ G) ^
１ 、
. D2 w. w1 x9 J: q: Q* p
基于颜色统计信 息的 高斯混合模 型分类算法
+ B! |- o2 I/ d6 E# f
，
' V5 O1 d5 N2 ~) V0 v* b4 t3 r8 A
设计 了
# f2 I/ f8 t; k8 P/ i! b6 ]
一
! t, p# Z0 e( `. V& [4 [; J9 c
种快速图 像分割
6 Q/ T( S- ?% c' Y5 E0 X
算法
% a3 H6 q3 ~: G" d4 I
，
( z& X* C# p5 Y: Q
该 算 法通过逐层 二分法
t/ w% V. Q v+ G' _
一
+ }" M7 G) X4 I6 I2 M! [7 I
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
! Y: l- H+ c* p$ D6 ~& Z6 o
，
" t- ^- K3 T8 {4 c
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
; i" j. \+ D: o' y5 @2 Z V8 i, R4 B
。
0 A) ^9 q1 b% Q0 l
该算 法不同 于传统方法的 先 由 轮廓得
- K' f+ S$ i6 N! T, q+ n! E7 c, }
到
l8 H) b f: t! o" q% ]1 b) W( ~
连续的 边界
& \: c0 m" u7 S2 }6 G
，
! R( L9 b; }# c8 _1 z) H& B
再得 到分割 区 域的 做 法
$ X, O: f" }8 E; j$ Q% u5 @
，
$ }0 P9 y2 a7 v: _/ w* o
而 是 直接基于 颜色 统计信 息和像素分 布
( ]) O4 |. h4 X- ^% v8 j, C
的
/ k, y6 N- I% K
形态学特征进行 目 标 区域 的划 分
; ~ g" Q. q: `# O# ]- A6 l1 v
，
* e4 Z* y: k) h+ j+ v# b
减少 了 边缘分 析的计算时 间
7 D x4 B% H& d9 A( w: s8 E
，
/ n3 r2 p. f1 f. U9 {" `/ i D
且对 目 标 区 域
' z" r! K6 h9 d/ _/ Y$ \, ]0 l
进
o) y& a5 n6 c8 w, H& q2 k: R: G
行分 割 的同 时 即 可得到相 应 的 区域边界
! `0 X6 C4 ^/ O& F* J' R8 u
，
' A8 d/ D" Y$ }! G
具备很 好的鲁棒性
( c( X& a) h/ X& s/ ]
。
. t7 Z' {9 T4 P2 ? \
２ 、
. r, `* E3 Y; e$ y
从包含 人脸的 任意 图 像中 截取脸部区 域
& @. N7 U4 U7 `. {
，
" g; k0 ]1 M+ t! ?% _& Z
经过背景 虚化
/ v6 B" N$ C9 U* w5 r$ ^3 n
、
+ j1 q* U5 q0 d# x- x% ]7 D! F
缺失部分 补
n0 J+ I! c9 a
全
# O, s, [$ Y" A
等步 骤
+ C# `3 F# i0 n7 Z; K1 X; i
，
. C( a8 w% Z, p: |" u
基于 生成对抗网 络进行标准人 像 的合成
4 W" U4 S) D: A& Q
，
2 f" s( d0 w, z- D- G0 ]/ N! X+ y$ i
合 成后 的 图像具有 特征点对
* O# O: B' V/ ?! R
齐
4 s n! N2 V, y7 r" ^+ K+ f" z
后 的 人脸位置
9 L- ^: c3 M! X& N; m) [
，
! D$ t0 r# e" B
且脸部 及肩 部
; u+ U/ B. B! f b% k+ S. W) ]. X+ X9 `
、
! g* T8 W% Q( S& ~* L
上半身 等部 分都具有 统
! m C5 R! v+ H8 \
一
& A5 g3 u8 D* Y9 T: a! S8 h
的 分 割与合成 效果
: V* `& \: z! u
。
: J7 k0 U5 d9 U/ Y, K2 i) i
该
( e. @( [! v0 v! J- m7 y
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
! @" T5 L8 _$ g2 y
，
8 T0 V% v1 R2 g6 s
可以 实 现人脸 图 像 的标准
. `4 w, ?: ?2 k' c' c2 `6 ~
化
" W- o# ?) G7 c! ~- |
，
* g3 L7 P" A7 N+ @' q# ?1 @
同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
2 w F* y: Y4 r- _4 j
。
w4 r+ j" s$ y" t
该 算法可以 作为人脸
/ r8 r6 }( r1 r) ]- x: [/ X
识
- R4 g6 i2 e' w' B7 y4 M. w! \
别 后 的 处 理步骤
1 Z# Y2 C( |% v
，
6 }) u" {# Q D$ T, c
处理后 的 人脸图 像 相 比 原 图 像具 有更
- r) M! |7 [+ Z" J
一
; r$ q0 U1 P$ k! I9 T% V
致的 图 像模式和对 齐
4 k4 U. u- \* p: [' w
后 的人脸特征 区 域
4 k' H% |0 \! ?4 Q. g; l
，
, E& B# _" `4 a, M$ O5 {8 X# v: e
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤
( y0 f8 D3 {6 N/ o* u: [5 N3 k
，
! R$ a8 a( `; ]- Y& s ?
有效改 善
0 U D! C0 O$ `3 f7 p8 |! b
现
3 _2 A3 \- C( y' m' O: A
有 人脸识 别 与分割 算法的 效 果
" {" S+ E) h5 z$ u
。
1 p8 b4 \- i) q- k" f
３ 、
/ F; M/ n- D8 `
最 后本 文提 出 了
4 L, z G) {, h7 T. r9 b
一
0 h4 _# _( {$ ?! s4 C
种 针对人脸 图像进行优化 的 超分辨算 法
) O' _+ g" ? |9 m
，
$ R; f6 X8 J% X+ P; q2 |& u
相 比 于现有
; U: V; p# e$ j1 v$ Y2 R
的 图 像超分辨算法
! B' s" z5 F1 j+ w& e3 B; C
，
+ y# d$ u: A A2 U, C
该算 法在图 像 的超分辨合成过程中
) X9 T2 z7 e( o, _7 |" j9 l* |: e
，
1 H/ U; l: W/ y/ f7 f
在关注合成 图像的 质 量
3 t/ o& R5 o" ?6 H6 s' O
Ｉ摘 要
, E' Z5 R& H# X
和更加 细致 自 然细 节 的 同 时
% \$ m, ^& L2 a3 `9 u
，
+ U4 W- C9 D- ^* X
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
) z" x; ~/ O) ^! s* b# P
一
/ g- C( A5 p: N/ Z& A$ x6 m& D
致
- Z+ o8 L8 `/ ~' p1 ?( Z6 N
的
- j3 Y, P% O5 F3 w5 y( l- T/ }, g
人脸身 份信 息
. }+ I$ N# Y# u$ P5 I4 o+ {
。
K2 O: D9 ]8 r0 M2 l- \
算法通过引 入 生成对抗 网络和残差 网 络
' p; j# I( Q S/ K1 Q7 a0 }% v2 |" A
，
1 X* ~0 [" q2 P
实现 了 上 述 目 标
8 I. n+ X( N/ ]) E
，
; a% C% U- w& N/ c/ N
可
* o4 m1 n; L8 E" Y. \, m u
以
7 F% X& L; l" E: l6 e9 e9 E; `
实 现图像 的 ４ 倍甚至 ８
9 s }. N) c4 h5 b: D e
倍的 放大
3 R* J7 V7 _! C8 t
，
) k7 A/ E, I" c) ~$ G8 |
将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富
f; U. m# }' c2 y7 ~' F- R/ Y
人脸信 息 的 高分辨率图像
' }, C3 i9 n+ g, H$ {2 G4 T) L
，
( h# I5 `$ Q+ w$ G" y4 i
同 时算 法具有很好的适应性 和 鲁棒 性
1 D& N1 h. T J# n* O: | t8 h
，
5 i) R. \% e4 A! O1 ~
对于 不 同数 据
1 H1 z/ Q* t4 j* n$ ~1 \$ G) L/ I
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果
/ I: B8 [" o/ m, j$ o+ T ~
。
; u8 O) E, i! M$ e3 d
该 算法采用 了
1 y+ w9 g3 G/ h2 G S0 y8 A9 z
一
2 ?7 q9 T1 ~5 `, u2 A
种 端 到 端的 灵
: x! B- N- ]. ?" ~ |! J
活
% S& I5 f9 u2 I: @6 P2 o* e1 F
的层叠式结构
: ^ f. d4 |7 g9 [' V
，
+ t( I% g+ C; @. X4 A
可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求
: o/ o) f8 X j0 u0 y
。
. A6 q1 K6 Q) H5 a$ m% g
４ 、
# P" q3 w- z n. c* d
本 文在人 脸合成 图像的 对 比过程中
/ p7 n6 ^6 L( h( m) \5 u
，
, I2 d, {. q6 o2 Y) C, {
提 出 了 使用 Ｆ Ｉ
0 E6 N: Z" r7 Q9 G2 U; ?8 T v4 A
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
$ D8 j4 \9 ^2 h" I% A3 K
ｏｎ
! F4 o' b# I6 j4 P% K$ T+ P% L' p
Ｄ
( Y! K* t* A" w! w+ P
ｉ ｓ ｔａｎｃｅ ）
2 z! p, q4 \" e8 h6 x2 g
代替 以往 的
- c( u3 T& ]5 o7 z8 B9 P* `& d
ＰＳＮＲ
1 E" j) y% d) a& |8 u
（ Ｐｅａｋ
7 ^5 _/ P1 S( J0 i$ f6 [3 S6 g
Ｓ
; a, A& \! f0 d* }. {' U# G. ~
ｉ
; o3 M( J& m q
ｇｎａ
% ^3 n3 t* @1 p$ }/ s" R% N: c7 {
ｌ
4 _& s2 y8 r6 d4 Z' {! s
－
& G/ Y3 t6 l X/ \ B1 g' s. i% _
ｔｏ
% g4 O& y I% q) B
－
- c0 B( l: z& s* [3 t
Ｎｏ
$ x3 v; n% I/ ]7 L( Q
ｉ ｓｅ Ｒａｔｉ
- T) P3 f) |* C% k9 Q" V2 J* _
ｏ
, F7 O, Z8 v$ N% _( B1 T
）
) f# k# R$ t/ B: J3 c/ X
和
( F# b) S; z8 p
Ｓ ＳＩ
" [1 {1 _+ B! B5 ]1 r* o
Ｍ
" T* I$ J1 I9 C
（ ｓｔｒｕｃｔｕｒａ
, K" O3 u" c: {! a
ｌ ｓｉ
& E3 ?( o( U" ^7 T$ M: c
ｍ
/ G* E r2 r' F3 K
－
( R j4 G: ?! L9 z. X4 B4 G7 O
ｉ ｌ
# }, F* f% o6 Y2 ]" X8 [ X: A
ａｒｉ ｔｙ
* E' C& T/ h' K$ l2 H1 d
ｉ
# ^# R0 N$ C1 q; i* ^: M
ｎｄｅｘ ）
+ V! v/ M/ \9 x' I- _4 p8 j
参数作 为人脸 图 像合成 以及超分 辨算法的评价依据
+ \8 s3 K' l. h2 r; ?/ x7 B9 A1 U
，
+ h3 U7 K7 ]# l6 B
因 为 ＦＩ
) b0 P- N1 n5 v% D4 B
Ｄ 值能
% x6 D7 L) g& o# Y8 V6 a
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
% {( x j9 S$ T& q! d5 K7 ^
，
9 I. Q5 i9 F8 I( ^, E
同 时通过全局 特征 信 息 的统
0 S5 E1 J2 r8 |
计得到 图像整 体的合 成效果 与 原图像的对 比
! s8 y2 F% i0 K, y+ ]9 t9 X
。
$ }/ T4 s2 j( h3 D3 ~% a. j
Ｐ ＳＮＲ 和
7 V+ C' ^7 S1 \) Q, L1 ^
ＳＳＩ
' S) B7 X; |# k! v8 ?: P: h7 f( u( m k
Ｍ 则作为 图 像局 部细
% l Q& z: u W8 s3 z" O
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
* c* X; M; G% P
，
# ?4 \5 r9 D2 b6 s1 h) P& [
细节质量等局部信 息
* @' k% U: c1 [9 V
。
1 D7 u' g) Z' ?9 M6 C
通
$ j5 d/ t2 `2 G& [# y
过
8 T% f' S; D) z6 u
三者 的结合
0 K# t; T" m) ~( ?5 K3 v! i, t1 w, t
，
! K4 K* v2 X% _, e
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量
' ]5 M( \# J& s2 F
，
: W7 F; h, G0 l
同时 评价
% n4 b- `6 f( S% ^) U. o* S
合
, q; _$ j8 g% ]8 R/ W% F) O1 k
成后 的 图像 与 输入 图 像相 比
) H* f. ~* M/ f# z( y
，
0 y* c5 K7 l% `8 S, ]
其 中 的人物身 份特征是 否能 够得 到更好 的 保留
/ m- D6 l* i2 z+ l* e- D4 M9 N0 }
6 l; S! |* x3 E" V1 _
8 B. }- E' \) j, s1 z. K% D
! x" ^. w1 G) H$ m& p+ S S
" z, o( E1 J7 h- _5 D
' h8 _$ {2 G+ p: }. w" N+ f, U
用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用.pdf
2020-11-13 16:25 上传
点击文件名下载附件
下载积分: 体力 -2 点
21.13 MB, 下载次数: 2, 下载积分: 体力 -2 点
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
