数学建模社区-数学中国

标题: 用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用 [打印本页]
作者: 杨利霞    时间: 2020-11-13 16:28
标题: 用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用
用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用- Y: p6 H, e6 |% R
2 ]0 f/ p% h8 p' s7 Q6 z$ ?
随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展 . m2 o. B# a6 b1 }8 |8 k( b
，
0 f; V3 u  h: U  l尤 其是 基 于通用 图 2 A1 g; K6 d! B! J% S  T
形
9 C, W4 }$ x+ |, b- o处理器 的并行计算技 术的快速发展 # C2 k* i2 @! C3 U, K1 l# q5 e
， . @# g: v+ L3 R: d5 h' q
机器学习 领域获得 了 快速的进 步
# W' Q% w7 g& W- k) |' J, f1 N。
" V- O' ~1 G$ c+ I随着 基于
; @' x# h) [! U9 j% _. J2 X卷 积神 经网 络的深度 学 习 方法的 出 现6 f1 e9 R' ~6 \9 t4 h
， " J, x! e2 ?  u7 E* i5 l$ U: L6 M
． 3 a% f% U/ s# U5 q& W
传 统 的基于 数学 模型 的机器学 习 算 法在 7 I4 L. J3 q8 ?$ V% Z  v; _
很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越 2 H' `+ L: ~! n  i; }# B/ k
， 1 E# v" w/ a2 \2 N4 F0 Y/ A
尤 其是 ２ ０ １ ６
6 }5 ]4 i$ h8 {6 o* i, s年 以来 4 x+ ~  t/ S* a$ Z5 p" a
，
! g' V% B+ Y3 o8 U6 c4 }基于 生成对 抗网 络的 图像处理方法
' w# @! b- v, \/ q- M，
- @+ `* A! M' U3 _0 w在传 统 的 图像识别 - N! R% K6 h# Y% I: C' Q- Q
， : W* w& Q: a/ J5 T- s/ t
图像增强 和 图像分 割等
9 Z& S% ?+ d& N" H: w  J领域之外 % h/ p0 a) G/ K" o4 _
，
* A0 X$ g8 O. j1 |还实现了 基于 先验知识 的 图 像合成6 I) k: O" X) K3 [2 N8 K
， ( R1 _# b+ |& z$ r
但 图像合成过程中 仍存在算法
& R) ?; k* V6 K; I" [0 X+ H结
1 N) ]( r2 c9 b% ?# u, |; U果不 容 易 收 敛
( g: [: q8 h" f* Q+ @% _  e8 E3 h，
& |% k- P  s6 m8 p计算量大
/ C4 |) B1 d- S1 g/ D5 D， 1 D/ r- y% Z3 K& `# s3 O. k7 _; l9 T
优化速度慢
! M4 {) f: T' ~，
  ?% R  F& b+ D, \. P# Z+ F, W图 像劣化 等 问 题
" B2 j7 a! ~  Z。
1 D1 m8 W5 b# u% S" [$ X针对人脸 合成 图 像
& W; a/ Z, R0 R+ p9 l8 Q( L， / I5 D+ v# S5 q" A
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细 , ?2 ^+ v. l' W+ a2 R
节还 原度
, F$ s6 F) h  e，
# Y, U; F, ^; E5 K6 ?. Z+ g& c) @而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征- s1 [: |3 N! r+ M/ c
一
, t+ _1 o! b  X* V* R3 A致性等方面 0 ?: {; _/ q; G2 B4 ]; I+ M. t
，
. A% t5 S- V% `- ?9 y# Y) C仍需进
( z2 l- j/ U! Q# V& j一
/ ^1 U) r4 s* v% C步 研 究和解决 . m- @2 B" t9 c
。
' p( L6 D# x4 k本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
9 X6 B6 ?7 B2 o: q5 w5 w; o4 m， ) f$ S, q# u8 t) L4 K
将合 成过程分 " c  G; j2 V  p2 F
成
, a) B* q7 y* y% x* r了 * b% Z+ u3 k: I( h6 |
３ . G4 T; _, J2 f6 h- Y5 J# I, U
个 阶段
& M. {& X/ x! T$ n+ |/ n， + T2 D5 ?& S( R( ]" q; i
首先 是 图 像中 目 标主体 的分割 5 Y  B  W* G+ j
，
# E' y/ |* l- K+ R其次是 人脸图 像的合成
1 D& S  c; s, f& X，
9 w7 Q0 a. H2 V6 l. Q) V( f( w最后 是 图 % l/ g/ r  f8 d/ d; }* z- t
像的 超分辨和 画质 增强3 C: n- C4 r3 T* C- `3 U' {+ R
， ) U& T# V; |  s
实现 了 人 脸 图像生成算法的 识 别   Q# F& ^# V5 j6 a3 Y+ ~* a+ C
， # w5 V7 e1 r* K# Q) M% N
分离 " z& a* m2 V% T7 K& A
， 4 d3 C: j' _3 @  Q' L, q  q& i
合成和 画 质 改
' R# P  o- W9 x! K( B$ i善 的 全过程 . i( d) Q# l) R6 g
。
) h$ C* I- O6 ]( n! _, b" z针对 目 前 图像合成及人脸合成研究中 存在 的 问 题 " m' z& M# i4 y+ f
，
' r: C* @( C' J$ c3 d本文 主要解决
, x2 U& C( H6 K* ~7 P  G了
& v. s3 o- O/ r0 \% V/ |人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
9 _$ {- e% M7 M( E' u* W，
+ m2 k% Z! g  v( y0 x主要
7 _) }' b1 Q4 l+ n8 z  m( u- O工
0 J! ~2 }. y. }3 a, j作 内 容和 创新点 包括5 w( ]- ?. N8 e7 I. ?% }3 j0 F0 r
：
  u# a! [4 i, T! t- L$ [( i0 B+ c2 H１ 、
, f- }4 n3 a5 ~! S0 a基于颜色统计信 息的 高斯混合模 型分类算法
0 b  t: }; \- s  G3 F4 r， ! y$ Z, N# c  \& {4 n
设计 了 : C: D# w9 ]% b  I
一
3 s& C. J7 I% W8 }6 |+ d- p种快速图 像分割
( R/ k9 [, _! I0 h" Y- I2 B算法
  f  V. ~/ S* R8 k0 u$ m， ( [: J+ K+ I& r) F9 A
该 算 法通过逐层 二分法/ D. L# v. o8 F5 d3 Q
一
4 Y' |3 c; a) U4 ]4 a& ]次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
1 i" {$ E# |$ b6 T  l& {- w# i3 J， 2 L) x4 D1 s+ z# c! a$ [% z2 \6 t" j
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
3 {3 \- z* G. t/ a- @  D。
+ u; |, o- O+ i4 m& O该算 法不同 于传统方法的 先 由 轮廓得
; m2 V) X6 [- Q到 8 n5 `5 E4 k2 _0 C0 {) _# c
连续的 边界
, m8 i$ O  r! V. J，
4 k9 A  U" v, g5 q4 [' b再得 到分割 区 域的 做 法
; h* W, V  k5 b) d# T2 B' ?) O+ |" k， $ @+ I/ p  [$ |% A$ Q% u' o1 L# C
而 是 直接基于 颜色 统计信 息和像素分 布
6 K9 G' x  P) N% m  P/ B, ^的
0 i' e6 {5 A& f- }形态学特征进行 目 标 区域 的划 分
8 R8 X- _4 s# S7 s  E! l，
& q3 a- j/ x( |/ B3 i/ a) L! R0 f减少 了 边缘分 析的计算时 间
' Z0 x% ^3 `, S$ h% `， # z' `$ M: v/ o; ~
且对 目 标 区 域' z0 T/ Q4 z& e' O) i) j
进
) c6 n  d0 O. a% R1 t行分 割 的同 时 即 可得到相 应 的 区域边界
  M8 t* I  {/ ~/ S. ^，
: d" J5 q$ g/ I* i: W) g具备很 好的鲁棒性
5 @, I; ~+ \5 ]/ M2 J: G  q。
1 o: b. y: Q- }! o9 y２ 、
" @2 U# I$ O# E4 m从包含 人脸的 任意 图 像中 截取脸部区 域 * {) H" J- P4 S- h( {1 ^) @
，
: E! T% R' C/ t- r- y经过背景 虚化 7 N' B7 ^% G- h) H/ A: p. K
、
4 c2 V! m, H9 b2 r; @! Q( f缺失部分 补' N! K+ n4 j0 l* ]: V8 x+ m0 e- M& M
全 1 t% p9 U. s' U" C' ]
等步 骤3 T! O: g3 Y$ d+ [8 E" `8 }
， 5 z% n( i9 ^% A
基于 生成对抗网 络进行标准人 像 的合成 4 L+ q; e  k1 t4 F9 `; X
，
# Q/ a: K9 u1 `* X" C5 |. l合 成后 的 图像具有 特征点对6 `$ ?+ m/ q) t0 \5 |! R0 D3 ^
齐 6 w$ R3 ^; ~+ C  c! c" j$ o  i
后 的 人脸位置
9 U9 b" I3 c& e- r( L- u+ W，
$ D9 A4 ^* b6 z8 X% L且脸部 及肩 部
' }% E) x) {; S0 `、 8 h8 ~' T9 [5 Z! [7 Q# k3 O
上半身 等部 分都具有 统
- Z/ p6 H' [! S( D' z9 X一
( _# l0 L% |# M7 J) O% y: G的 分 割与合成 效果 ) m! w; d7 l1 ~% |' J: E2 a0 I( @8 d
。 / _% R+ @7 i/ t1 \
该
! [  t  \4 D! t& k! ?  S方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
. D  s! U; J5 \' J( N& Z! |，
8 F1 x  c7 X1 S3 g9 a! T$ P/ d可以 实 现人脸 图 像 的标准   {; Y( X. \8 d, ^
化
8 j4 j! o; Z- h* n$ l，
$ W8 G' M- a' b+ E8 S) K同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息 4 P, E. m% y; z3 V) z9 A
。 4 R) G( r- q) O3 h5 R+ N: l
该 算法可以 作为人脸
+ U( h% p. k/ b; `3 f. g识
$ y  Y1 c1 z! m& I别 后 的 处 理步骤7 f, Y% r- g1 k) t& }  ]) x
， " q4 H! ]( c9 R6 X8 g) d9 I2 t
处理后 的 人脸图 像 相 比 原 图 像具 有更" h/ ?: c7 Y2 Q: w9 \* o. h  A. z
一 ' k, ?9 x2 `( ~' P; r; J
致的 图 像模式和对 齐
% v0 N( D. e8 J# d: F* J' P; f后 的人脸特征 区 域& ^8 }8 D; a# ~3 [" l, ?, N1 w
，
) C( i8 Q; h' c同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤6 @, |9 a! u9 u9 I$ ~: t" O
，
' t: D$ ?0 Y0 h, _  c有效改 善
$ y% u, k9 s2 [) X现 $ e/ ^7 J& `! _0 _7 ]/ B  u2 {
有 人脸识 别 与分割 算法的 效 果 , Q, }+ J) S* t7 W) \0 {
。
9 Q) A0 T2 p3 L- p3 d' C３ 、 4 @7 ]6 w$ m+ g6 [3 _( y  k
最 后本 文提 出 了 7 R2 ]4 K) n5 I
一
1 T0 Y6 A( C- b9 p  }种 针对人脸 图像进行优化 的 超分辨算 法
7 V! P0 U; U5 ?3 d& m，
7 k" w- s% i; Z$ v7 O1 K- D相 比 于现有
; {3 k- |+ \% E* G. q% R3 E的 图 像超分辨算法
8 S2 a  J: w% V1 u3 D，
0 j/ f* o- v8 t7 p/ R该算 法在图 像 的超分辨合成过程中 ' h- x  y  R4 A9 U$ W2 X. R! R! y
，
5 z1 i4 g' w5 Q% G/ ?在关注合成 图像的 质 量
0 V" d6 _/ s9 D& D' E4 n( g5 iＩ摘 要
" J, w+ E' |1 S4 a和更加 细致 自 然细 节 的 同 时 . H$ H- e4 x$ Q/ y' H
， 5 c! c7 ~# ^7 A; e5 K+ z
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
0 h. Z: M$ O3 Q( p. q$ H& ]一
  a4 F% J0 S* E. p致
) u) B6 R: y" n6 F' x的
' L8 t! z/ g$ [0 e4 U" I人脸身 份信 息
9 ~3 d1 \4 l* L! _。 $ D& r/ L4 q" k+ z) z$ u
算法通过引 入 生成对抗 网络和残差 网 络
( f) N$ Z1 \' B3 a- R9 o: c6 Z，
  t3 d7 h1 T  n/ Y8 x实现 了 上 述 目 标7 M7 t' P& M, h% h6 p9 }
，
8 }  O5 {& l; J1 q3 h可
5 W4 Z$ P. a8 C( V+ i以 & ^7 G: Y7 H7 Q* t$ _- C- W
实 现图像 的 ４ 倍甚至 ８ # }+ |# F$ W. F% m6 s
倍的 放大 0 f+ G, N! l8 ]' o8 o
，
; `9 k+ \& h3 z) q: ]# U将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富 ; h9 L: r' w, s# M' N: K
人脸信 息 的 高分辨率图像 7 V- ~. z1 u! u) V# k  y  u- d3 n
，
3 @1 D6 T) H1 a  A同 时算 法具有很好的适应性 和 鲁棒 性
: W1 z$ L- Q: i' v2 m" @，
2 O0 J7 `+ {3 R) J3 N8 r# S对于 不 同数 据 6 v7 E6 i/ a) G1 A" L8 x
库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果 9 H5 @+ D# o" I4 I
。
; H" G, J$ y8 E4 L+ ?4 |该 算法采用 了
* V4 D# R6 \) w2 T一
0 I; s% ?( C7 ^3 L. O2 H3 l种 端 到 端的 灵
9 c+ `; y; ^  i5 X* ]活 6 T) y7 `/ f: C9 N! H
的层叠式结构
. x/ F' S( b) T6 V6 z，
7 c0 G) ]2 p% ]# Q可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求 . d/ G5 M8 |3 d+ w( p
。
, H  l* k8 k3 I, j- j４ 、 : G5 C* @$ r) \& U& H- @' z  Q
本 文在人 脸合成 图像的 对 比过程中 8 X" e- l, X2 \! T5 u3 r8 V
， 1 U0 J; \' B$ E( x+ e+ W. ^: r# s
提 出 了 使用 Ｆ Ｉ, T5 S, e- \, Y$ k( `; P3 E) X1 M
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
3 q: U+ Y3 f2 ~+ z6 yｏｎ
2 H0 P: l0 Q' {! N" i3 n) W4 }. ~Ｄ* j; a5 y2 H* b6 E' x6 u7 p) A
ｉ ｓ ｔａｎｃｅ ）
2 t+ m5 ~% j7 e/ ]9 n, m代替 以往 的
! y" G; E& x; A0 MＰＳＮＲ . }5 x: o, j" N7 F# I
（ Ｐｅａｋ
: x5 R' r; Z5 x0 r6 N2 u" I. b6 x7 gＳ" {3 N' y( P& J7 t( k8 G) F2 d1 Z0 e
ｉ 4 c) U; a0 j7 w
ｇｎａ$ f/ C" ?$ a$ x9 a; L* X) g8 D
ｌ
& _. s7 Z1 |) j$ ~( X－
8 h3 R2 R* y; u! G* Z* h3 ?3 f4 h7 {ｔｏ
) n* H  ]: z6 Y9 g－ 1 K, ~3 D0 _0 ?9 S
Ｎｏ 1 }! q2 t1 @: Q1 H5 g4 |) l
ｉ ｓｅ Ｒａｔｉ   M* ^( Q! O; V$ [6 P
ｏ 9 n9 W+ ]! K7 S" D9 C5 c
） 2 O/ Y  O) n1 i8 n" B/ }
和 4 M$ r) q+ K) C% E
Ｓ ＳＩ + d8 `8 f! \% v" T) O
Ｍ
4 c: h. T& ?3 k% z& R% R（ ｓｔｒｕｃｔｕｒａ
* q( h& K% @1 m" a& G# D/ i  s3 P, zｌ ｓｉ
% f; I0 L6 _$ u2 A$ f8 wｍ , {& ~, f/ W8 P& _  h3 m
－
1 m6 \( }& s' Y; k1 D( _& K! gｉ ｌ % x! |2 ^" L& a/ N: M/ R
ａｒｉ ｔｙ
- C( V* h  X" y3 G2 V4 b& kｉ
( P/ l" `. E4 F. Q! D! Xｎｄｅｘ ）
& C$ S/ Y2 }% I% G$ w参数作 为人脸 图 像合成 以及超分 辨算法的评价依据 # E7 W( h  F4 k
， 4 I' u' x, U7 U5 f" ^" V
因 为 ＦＩ 4 N$ N# \: L3 |
Ｄ 值能 / m; i# R- j! [4 l9 G( ?
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况 8 c3 i# p* R3 _& F9 E: F; z
，
9 U! g( |; i# l: g2 Y: l* j同 时通过全局 特征 信 息 的统 0 `$ \0 d) k5 A$ ~& m
计得到 图像整 体的合 成效果 与 原图像的对 比
' ^3 {- a2 A% ~$ b0 D" K。
* ]  q' u# p7 j+ R; k$ ^Ｐ ＳＮＲ 和
% L: k9 t5 k7 VＳＳＩ
: G$ c- _) W) |Ｍ 则作为 图 像局 部细
' _5 L9 }9 l, R节特征 的评价标准更适用 于评价 图像本身 的清 晰度 & M6 }7 v) D% s1 u! @& V6 f
， : w) w$ l( Y( L$ J, y, d; |7 S
细节质量等局部信 息 & k' S" |# O+ |1 G! @; F
。
$ L7 X4 R. m9 W* c- O- f0 \& Q$ ~通
2 J% c4 O) Z0 W2 O4 q+ P  A3 I过 : {* g1 H- `# x! P5 \
三者 的结合
2 G. W+ ^" @) u( `2 x，
5 }6 h4 p2 i3 B, D0 e可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量5 t" i3 H5 b" h' f+ l0 h( N$ S
， 0 j  t5 ?8 ?  Y5 L$ {
同时 评价
8 S3 `1 [  j: Y2 R合
, |) I2 j! |4 Q' T' {- _3 d. `成后 的 图像 与 输入 图 像相 比 ! h1 ]( N" g! s% x, d/ O* T# Z7 q0 l
， 5 P  W+ S. W* \2 q1 V
其 中 的人物身 份特征是 否能 够得 到更好 的 保留 / p, V3 [2 X6 a5 A

) }$ p8 Q0 U0 x" d! J+ S, P
0 x/ k' i; F8 h9 V8 K: B* r5 Y6 p% D5 m1 x/ X# z
3 T) o4 D$ I+ ?% g7 [2 |5 V

+ @) s, [* W: R3 k% \5 G! y

用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用.pdf

21.13 MB, 下载次数: 2, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5