数学建模社区-数学中国

标题: 用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用 [打印本页]
作者: 杨利霞    时间: 2020-11-13 16:28
标题: 用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用
用 于图像生成的机器学 习 算[size=22.9204pt]法[size=23.1695pt]在人[size=23.4187pt]像合[size=23.6678pt]成[size=19.6817pt]中 [size=21.1765pt]的[size=23.4187pt]研究[size=20.9273pt]与[size=22.4221pt]应[size=19.9308pt]用
$ u: x" e, y. s2 O
6 R& `+ Q' }, e0 B# N% l随着 近十多 年来各 种 电子设备 计算 能 力 的 快速发展
) g; B- Y2 L, Z( f2 g- |3 r， . Q) J. k) q6 Q' B5 W
尤 其是 基 于通用 图   M% v7 G2 D7 {2 W. H/ V
形
0 }" Z. R4 \( Y% i2 B5 ~处理器 的并行计算技 术的快速发展
: i, m0 e: j$ r， ) |! W5 N& i' i
机器学习 领域获得 了 快速的进 步 . p, S/ x% A  v$ j* {
。 3 l) L: F8 z7 ^! V. y
随着 基于 : S5 I  `( Y$ i  x1 Z
卷 积神 经网 络的深度 学 习 方法的 出 现
! R8 B0 T, A* M. h$ v" F， 7 e" S8 d7 O" }- `! R, N( @: Z# q: j6 t
．
- p1 f4 i5 b- \1 I- l: M. b) U传 统 的基于 数学 模型 的机器学 习 算 法在
2 d% Y, C- R( ~2 K+ d很 多应用 领域都被基于统 计学 模型 的 神 经网 络算法所超越
9 T2 j# u5 p6 S- \9 k  V: g， " i: s; J6 ]  K; Z( h/ ?
尤 其是 ２ ０ １ ６
- r' F. [9 k* K' Q( Y年 以来
  b( p' |. c! b9 b$ g， ' q' K% I+ R. Q2 x! [1 ^+ x
基于 生成对 抗网 络的 图像处理方法
; k  O! v2 q' c! e$ ^; [4 J1 o, s， 1 E% G( X7 S( E$ F
在传 统 的 图像识别
0 v8 X- [$ p2 Y+ R，
$ c) g) w* o% ~+ ^& M9 ], r图像增强 和 图像分 割等 0 k3 r! \! o! s
领域之外 2 k1 c& L5 ?: `) L1 e1 p+ w
， - F! m3 E. P2 O  Q; I
还实现了 基于 先验知识 的 图 像合成
+ [$ J/ |. r7 J  w， % [1 B1 h  {, z* Z1 F7 `4 u3 J9 G/ @
但 图像合成过程中 仍存在算法
6 g+ o3 X$ s4 R6 C结 , V" C2 z4 }5 n; U$ i& E, b
果不 容 易 收 敛4 X- k- |2 _4 w: Z) f
，
! o, K9 H5 }% L$ `" G7 v# A% i; `$ _计算量大
/ c/ ?7 ^1 S0 f! T，
4 H% ]+ W3 W: w7 i优化速度慢
, q( y9 W5 y+ B; @: H1 ]$ n，
; W# n0 S9 U/ ~0 M7 o# D, i+ m图 像劣化 等 问 题
# ~: X* R9 }0 O+ b+ p。 6 r2 j$ b' ]# P
针对人脸 合成 图 像
8 S% ~' f0 D! q2 h( p7 p， / n" ?/ y$ n5 G, o9 C
已有 的 图 像合 成算 法其优化 目 标与 评 价方法更多 的 关注于合成 图 像 的质量与 细
) w$ g5 S$ I6 O$ D. C5 n节还 原度
% @# D, I2 n/ A/ x7 u  G/ L& ]9 x， 0 N- b! s) k% f
而对于 人 像本 身 的 身 份信 息 保持与 目 标图 像 与源 图像 的 身份特征0 {# b8 V- Z$ ^* l$ z) x( c2 c
一 4 T; I0 N/ L4 h
致性等方面
% {! X5 L* m3 s) j) w. _" ~0 Q，
  A+ B8 B  A  a2 f) d3 T7 r仍需进
6 Z2 J; s9 w6 G一
2 U$ k7 M+ e) m$ o' |- G步 研 究和解决
1 \5 f0 |1 p4 d& Z! c9 [: V。 6 U/ D% y  }1 L- A# [
本文 主 要研 宄 了 基 于生成对抗 网络 的 人脸 图 像合成算法
; N/ ], L2 W$ l; w7 a， # `2 @- i" h; d* B3 L& l
将合 成过程分 # l5 j/ a# B5 t8 D. a) C$ R" e
成 / e, X+ `  I' ^9 B/ s
了
0 M; c- U/ B) w% `+ f# b３
0 o4 K+ A: K- ~! G0 ?3 C7 v个 阶段
2 Y% }. ~- U0 `& G，
  g0 L! K: W/ c5 Z首先 是 图 像中 目 标主体 的分割 , ^8 \" q% ?' V) n
，
/ K$ v$ p' a  M) Z# o- E其次是 人脸图 像的合成
/ f( I7 S7 P/ e+ {9 p， 2 x( f9 d" ^0 a7 ~$ a
最后 是 图
0 z3 z: H3 p) l' N, t% L% C像的 超分辨和 画质 增强
. K% m8 u  D0 P! P，   X' w  a% z  q5 f. H' D5 @8 n
实现 了 人 脸 图像生成算法的 识 别 ' o1 |3 m' c( J& l7 R
，   z4 g& b3 i6 n8 Z
分离
! z7 }% V8 y, a; ?' f，
" Z9 q/ e( }: |$ k. H合成和 画 质 改
) u9 |2 I# k$ U3 p' E" ~; _善 的 全过程 ) i: t# @% t1 d( y6 s; R
。
2 _  d: j  B8 Z针对 目 前 图像合成及人脸合成研究中 存在 的 问 题 % c; y, c" b8 F5 b/ A
，
( p# u0 J" D: F+ X本文 主要解决 4 n8 N% S+ B. R
了
% O: U( Q- f: ^人 脸 图 像 的 主体 分 割及 合成高 质量 的 保留 身 份特征 信 息 的 图 像的 问 题
  ]) d9 l7 Q# n) U3 N5 _: Q，
' Y9 ^. i* i$ x; Y6 ~; E- A/ N主要
# D1 t' K. ^0 e6 a, r/ U* O工
9 |5 t, M6 b" m作 内 容和 创新点 包括- o4 q, q" j9 I6 ~
： " w. X# l+ {$ [' S1 t9 S
１ 、
7 H; l% q5 z- I4 d0 ?基于颜色统计信 息的 高斯混合模 型分类算法
. O% ^% Z' U8 t4 J# ]/ [) @2 ]! u+ H， 1 l# G* O3 K4 w9 V6 I
设计 了 , L+ a/ F; `- e: W" P' c0 C+ b$ t
一 ) @0 c, R) U' T
种快速图 像分割 1 h4 Z: u* ?9 h& N
算法 - S7 E/ D; {% t# w& e$ J
，
! D' m! C% C/ d3 g2 _6 r' r/ h该 算 法通过逐层 二分法
+ l+ c( A& [5 B) v; }1 V0 }一 ; s7 V3 H# E. c/ V1 b) Y
次性的 将图 像分割 为基于 颜色分布 的 目 标 区 域
+ u# e& F  j  T" u, W, M: g， 4 C' J2 u0 y  g- ~4 c) E7 ^7 N7 B5 I
同 时 由 分割 区 域得 到相 应 的 目 标轮廓
6 s3 d( P& B" f& b/ a。
; h: T1 k$ I0 j+ g7 g: f. a7 f该算 法不同 于传统方法的 先 由 轮廓得! n5 q5 X5 Z4 J$ R, g( N- G7 p
到 & K0 Q8 u7 }% [3 F8 b' R6 r
连续的 边界 % [" A. H9 Y1 z
， , E+ T3 B9 R5 x# }* q1 M
再得 到分割 区 域的 做 法
* V0 v1 {0 g* Q; S，
2 c. {( g/ E9 a2 b* j) O- n/ N# M而 是 直接基于 颜色 统计信 息和像素分 布 ( o1 k+ G# |( Q9 M5 K
的
8 {* l6 b! f* R1 v1 i: p1 u% w形态学特征进行 目 标 区域 的划 分6 g" t) s4 H/ B0 G" |3 [/ |
，
( I& [0 S( e8 n减少 了 边缘分 析的计算时 间
/ q$ @$ V& S. _. O) s/ ^1 g，
( M, X) P7 c6 ^$ d8 e! [; `7 R& c4 m且对 目 标 区 域/ c7 o8 Z9 f# {4 c
进 1 J% q2 _$ {; Q$ m3 ^# i, r
行分 割 的同 时 即 可得到相 应 的 区域边界 # q1 @7 z( A  C& r% p% y7 ]& t
，
3 d" X* k+ \7 D; N; b具备很 好的鲁棒性
- ?$ G( V# \6 n% q# J。
4 a$ [/ d6 f: U7 r% e２ 、 ( m! c' t: q" v& g$ F0 v( y1 j
从包含 人脸的 任意 图 像中 截取脸部区 域
* @, c" G+ ?+ O, _* Y! Q- q，
+ H- B& l! B) J4 u& s# X! q/ R, w4 `经过背景 虚化
5 k' I4 Q* l0 `' d9 Z、
1 q& u4 e! d6 S. c. Z9 {# M缺失部分 补
6 I8 b: @0 K5 O7 {1 @$ W全 ( }7 C4 f% Z7 o3 j
等步 骤7 v1 ]" p0 ]' a+ b
， ) x! b' ^  f* Z: ~
基于 生成对抗网 络进行标准人 像 的合成
, S6 a5 n/ E! O, ^，
4 [  l* y7 G* v8 V! z5 S5 t合 成后 的 图像具有 特征点对
2 d  S  l$ C6 I3 B0 P6 V齐 ; }1 Q2 i# B) X! w
后 的 人脸位置& q$ i" S2 p; w9 w8 h0 Y
， 5 m7 z/ A/ F- ]5 [9 C
且脸部 及肩 部
* \" J6 R3 ]2 u4 T8 R6 Q% m. P、 . o3 ~4 q) Q; O, w. d6 d
上半身 等部 分都具有 统/ h% b6 ?' N# B* K' k2 r
一
  y, E) E$ ~  I- A7 m" B4 I的 分 割与合成 效果
5 I. @& b% b, L3 U. c。
: O% e+ |: @! [7 U5 E: I# f该 " d) @5 c' B3 e4 Y5 n0 Z2 m+ l
方法处 理得 到 的 包含人脸主 要特征信 息 的半身 图 像
; W% [4 Y& i$ }" V" Q9 J1 d( r， + S$ L1 m' j& ]: K* y* ]# E
可以 实 现人脸 图 像 的标准 6 _0 `/ D/ z2 D( J
化
4 V! L. I4 f* Z' R" E( `( b. ^，
0 ~; b" H. Q0 ?' Q" P3 H同时 最大 限度 的 保 留 原 图 像中 人脸的身份特征信 息
7 ~, q* o1 U/ o" e。 2 m3 W7 R7 f( L' X
该 算法可以 作为人脸+ O3 k: g5 M( d0 J
识   ^# ]+ g# p7 ^! u
别 后 的 处 理步骤
8 q  q6 D/ k1 A' V4 {1 ?, N， 8 y( D2 }! i7 g% v2 ]' K
处理后 的 人脸图 像 相 比 原 图 像具 有更
3 g! i) g5 l+ S$ b一
9 A, E+ D+ C/ i. Z- \3 L) y: l致的 图 像模式和对 齐
$ u7 k$ `( _9 h6 {9 K后 的人脸特征 区 域
# P+ [( O, j! S1 j4 V， + m: U8 c0 `  x7 O4 k1 O+ ~" q
同时 该算 法也 可 以 作为 人脸数据 的前 处理步骤) r% b/ z- q2 X4 n6 q
， 4 q$ n5 L; j" ~5 _& o5 S
有效改 善
4 P# {) G! ?" j现 0 n0 C7 T: U! y& p7 V
有 人脸识 别 与分割 算法的 效 果 . k% U- J: q: O0 P
。
, @6 N  ]) B2 D+ {* l2 _３ 、 , \, ?' n  |$ ]! \3 Q3 m
最 后本 文提 出 了 1 T4 Y9 {1 k* N3 f0 N  _8 h
一
2 c& J# j; z$ `! W! I. ]. @' Y种 针对人脸 图像进行优化 的 超分辨算 法
" F* `& H- g5 k, h， 4 D, y+ [( Z& d6 f) a  T
相 比 于现有 ' y( h, o5 o1 F* M
的 图 像超分辨算法 , U  B3 p# R* r) a1 @* A
， 9 ?( O* x4 O: i' {9 R* I
该算 法在图 像 的超分辨合成过程中 ( q  E! L8 B) `
，
. p; @' \' \+ \/ K3 ?; o- m6 P在关注合成 图像的 质 量
: D* O* u, p6 X, Y- M' f) GＩ摘 要 - l( G& }! R0 f5 o9 ]2 N; m
和更加 细致 自 然细 节 的 同 时 * ~$ }4 q. l! N* V1 ?3 \$ V
， - U, ^, E! Y9 k+ n0 T
更加 关 注得到清 晰 的人脸 图 像 以及 与原 图
# m8 d+ k  X0 F( L, w; [( o" v一
; T3 ?* Q$ Y9 M7 c+ Y致
5 M! V9 a& @4 ^" `) \, O的
, @4 o# _  v# e6 i人脸身 份信 息
6 Q- P; J" ?: v1 F。
" m3 `" n3 x) j( r2 U算法通过引 入 生成对抗 网络和残差 网 络 3 a6 X* u) T) _! V
， & x, i* D( a! x- i# ^5 b9 @3 }/ b
实现 了 上 述 目 标
1 o& n2 ]( [. `* L  j1 L， % N. x# z: N. n
可
  k/ C* L, q; @5 p" h; w  E( H" \以 5 p8 F8 g% l  W% Q3 W; }- ~: n
实 现图像 的 ４ 倍甚至 ８
( R. |4 W" A& ^( o, o9 ~+ W倍的 放大 + P! W% s. D1 s* x, r& I3 R
，
  [1 i; ~/ F& X8 Y将模糊 的 图 像合成为 具有 较高清 晰 度 和丰 富 7 X) i6 Z: y* V# l/ I& S  A
人脸信 息 的 高分辨率图像 ( |% [- `8 K, q5 Q7 b6 S0 H  B
，
5 f+ \; c' E2 D. s+ l同 时算 法具有很好的适应性 和 鲁棒 性
1 Y5 z) y1 K0 w7 L0 k， 7 X& W0 \$ \- P+ o
对于 不 同数 据
# j; g/ {, q) e; F) j库 中 的 人脸 图 像样 本都具 有 很 好 的合 成效果 : `7 y% O& i& X7 X; R1 W
。
- \' p3 r0 [, f. b7 G& Q" S; g该 算法采用 了
( B8 x, t, D$ A4 U3 b一: u/ o4 t! i# W- ?
种 端 到 端的 灵 0 A6 @! j8 C9 P, K0 E! g" i6 B
活 8 L; Z1 U  J' z# @, O
的层叠式结构
8 a; N7 K( ?# w2 F# ~& w，
3 _+ d, t' ]" ~4 i' T! z7 |可 以适应 不 同 的算 法调整 目 标和 图 像 合成要求 & Y& N8 |% w6 r0 v
。
( H8 P1 P3 K. c% `４ 、
# T# E( Q; ~0 J! d5 v6 K4 p6 A/ {本 文在人 脸合成 图像的 对 比过程中 ! a# d7 ]/ C3 e* [8 g4 o" r
，
& J2 e+ P8 }' G提 出 了 使用 Ｆ Ｉ0 Y" s, C3 }5 _; r# p1 f
Ｄ （ Ｆｒ６ｃｈｅｔ Ｉ ｎｃｅｐｔｉ
+ L: c+ D' p8 ~" \5 H; D! Q4 ~ｏｎ ! y* a9 F: F. B  E% A' \  g: T( `
Ｄ9 _6 E- X. ^% J& e! f- Q1 z
ｉ ｓ ｔａｎｃｅ ） 0 ^4 Z# \7 d; C, \& v
代替 以往 的
, q2 w) U  Z) P) o( h1 d# ]) V4 U) wＰＳＮＲ ' \+ A+ G: \  ?0 M
（ Ｐｅａｋ 2 @& O9 t2 w7 S0 ^
Ｓ
: q, c8 u' ~3 V9 \/ lｉ 0 X' `3 C  G: Y* A$ h3 `6 _3 ^9 j
ｇｎａ3 D8 Q1 g2 r/ h, l. C% I) w# Q& P
ｌ
/ |3 }1 R; t# T% r  u( W% i8 P  z－ $ n! U9 m/ h* ]. j# W
ｔｏ
' x% f$ Y( R# {9 _: s－ 1 i9 g: v7 W! y) m) f' o
Ｎｏ - D$ N. |0 E4 g& X$ G$ g
ｉ ｓｅ Ｒａｔｉ ; X: H$ @# K% S( h
ｏ # W) k+ q! e$ M" ~& W6 k' n" n
） 4 y) P+ Z4 B: i" H. |# k
和
6 p1 t6 |: ]" a& B4 J" yＳ ＳＩ & Z5 ^: U& C# A* ?8 |7 e" s
Ｍ
4 k% g! X+ ?; W0 h0 h8 T0 a（ ｓｔｒｕｃｔｕｒａ
0 b- O8 h- c  x' Lｌ ｓｉ : r- Q: {# E1 G! g
ｍ " ^2 U2 O4 r! r8 }; J) e
－ ( P& r# h$ X5 V8 m7 J8 A
ｉ ｌ
. o( j+ n! ^( e6 h6 N) yａｒｉ ｔｙ   M0 {2 Z+ W( n; N
ｉ
+ S/ _* B0 Q# [) f" Jｎｄｅｘ ）
2 h; l0 \! V8 G, L参数作 为人脸 图 像合成 以及超分 辨算法的评价依据 9 s5 e% `* A: ^, u
，
' G: P5 {% K* Y因 为 ＦＩ
/ M' l! T3 @9 v8 Q! TＤ 值能 " l/ ?- r" }7 W% L
够更加 准确 的表达 图 像对于 人脸信 息 的保 留 情况
; M3 ^" j. N) A" g' F$ Q7 t  U! P' d， ! u4 }4 E  ]' Q
同 时通过全局 特征 信 息 的统
5 h2 ~' M& z$ ~( W! \" F1 U$ `/ |计得到 图像整 体的合 成效果 与 原图像的对 比 " ~  S) k6 H& R# S+ v
。
. P' o( s+ ]0 ]* T) v* G9 f* |Ｐ ＳＮＲ 和 1 @5 C3 k  k6 O# ?4 g9 Z2 J
ＳＳＩ
. z. I; c6 ^# b5 v# KＭ 则作为 图 像局 部细 # T8 y7 J3 F5 x1 h" F
节特征 的评价标准更适用 于评价 图像本身 的清 晰度
$ N8 R$ L, I9 a，
( o5 g# Z6 x7 ^0 Z细节质量等局部信 息
3 \0 a4 B3 l' X( u。
0 T% p: l* b. X. W+ `0 w) H通
& S, s) p1 d, G# k6 e过 1 k6 f8 i# q2 P/ r
三者 的结合
& n) S! {  L: `， % t# H1 E" Q6 n9 @9 V7 g: f! g
可 以 更好的评价合成人脸 图像 的 清晰 度 以 及合成 质 量$ v6 r/ ]1 A- i) l# j: b
， . N2 V8 r+ n8 n$ ]
同时 评价 4 E- N1 I( q/ D8 J
合
: J2 L0 n' @/ |: b8 o5 k' x成后 的 图像 与 输入 图 像相 比 9 {& P) w7 y* P7 t# }
， ' |$ T, i( [, ]5 O+ M7 @8 J
其 中 的人物身 份特征是 否能 够得 到更好 的 保留 : M& ?# M. y. e
; [, t- _3 e+ `4 U: H- K/ Q4 i; I2 V
1 f' g9 {# M8 n2 f$ x
: i' t8 \" }! g6 S$ G" N

$ `6 b5 e7 v+ t
. C' B: ^* d/ e5 _9 F- h

用 于图像生成的机器学 习 算法 在人像合成中 的研究与应用.pdf

21.13 MB, 下载次数: 2, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5