数学建模社区-数学中国
标题:
三分类网络的物理意义是什么?
[打印本页]
作者:
杨利霞
时间:
2022-9-5 16:30
标题:
三分类网络的物理意义是什么?
三分类网络的物理意义是什么?
. G) I, W1 I4 ]+ `- s
; w, J- u: o9 h: H" R Q' G k
- R7 u8 O9 }: X) I8 R
(A，B)---m*n*k---(1,0)(0,1)
8 f' |! j% e8 m
' E; m% N4 g0 F2 ^
对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境，因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v，则即便A和B之间的相互作用的速度小于光速，A和B之间仍然可以实现瞬时作用，并不违反理论。
+ A+ j+ B+ @5 s& \) Q5 M
9 P+ v2 I! q2 @4 Q4 F6 O* g1 ~
( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )
' A. x5 c4 y- b
. S N( B( W% W8 M. D3 f& i# h
对于一个三分类网络要完成3次形态的变换。A⇋B，A⇋C，B⇋C，每一次形态变换就是一次二分类，因此对于一个三分类网络可以理解为由3个二分类网络组成
& z! h6 a! o6 F* Q' C
. N; X/ j7 h# f8 @ [: R
(A，B)---m*n*k---(1,0)(0,1)
2 ?) Q5 [$ D$ U0 l$ f/ K1 E
- F9 z( f$ D3 Y% E3 } w/ V0 y- A
(A，C)---m*n*k---(1,0)(0,1)
0 N3 E9 h" h8 w9 [
+ x- |& C" R6 M7 S3 w
(B，C)---m*n*k---(1,0)(0,1)
3 \' O5 h. e! v$ I+ I# i' n, V
9 |7 x0 t0 O1 z8 W! F% Q- u+ r" M
这就意味着存在3对瞬时作用，也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小，而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了，同样B被错误的分成A和C，C被错误的分成A和B的成分也少了。
( s: c1 A6 k0 H* i @, v
7 \" F( Q' l5 A# t7 k6 P
所以这个三分网络可以被解释为，3个距离为0的粒子不断的相互作用，随着时间的演化，最终变得越来越像自己。
. f! g. @3 O$ P: z
3 c# k) I2 C/ l# a; C, g0 A
而前面的实验表明相同收敛误差下，迭代次数取决于等位点差的绝对值的和，这次就继续验证这一猜测。
8 J9 C) i8 q6 U' |. m) l0 T' K
7 z) p: p+ `" d2 b5 k: d/ `
用的训练集是mnist的0，1，2，3，4，的第一张图片。用间隔取点的办法化成13*13.
+ b- [% h2 {7 G; D/ _9 ?4 M
" W/ o% R, u! ^7 |
( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复，直到收敛。共进行了10组得到数据
0 l' T- p% O+ J/ {( v; @
$ j" v6 _/ a+ K) A
1*3*4
' l( C1 ^2 c( d. g) Y# g: l
3 z t3 W" }! {5 N
2*3*4
7 x1 i$ j4 L" N4 L$ O
# e0 w# N) _0 j1 N: p# H
0*3*4
0 ~! t% l+ {( |. N* n- U# N( @; E4 v
8 S9 U' @: I9 c) R& A
0*1*4
/ q) h4 [" k9 v" ^
9 v- b' h w% ^: _
0*1*3
4 M6 |8 Q/ R8 C" {
3 f, A, _. v7 x, B! ~
1*2*4
0 W7 W/ [" `- `5 p. X
1 |. H9 u$ `6 G( ~8 B
1*2*3
3 n- R" ]1 q' g4 c+ M4 x
6 p8 Y% M. _! m1 @$ Z! H9 h6 u
0*1*2
: {, w/ ^$ N" M, i* h
R: q& o2 P+ y
0*2*3
5 R% c7 o" x1 x# d: X+ G
/ H- I/ ~, d7 ` A: R4 h# |
0*2*4
" G- Q$ R, u7 p" \9 n" X* y% x9 M- L
( }. k' S9 e, k& k5 d" x, h) @
δ
b+ t8 n# N" x9 W4 o1 F& z
4 n: t; ^; p5 h W8 z' L
迭代次数n
" F( M2 w+ h2 r. S
' x8 y- ]) o' r7 k: B
迭代次数n
3 b" t4 O3 A: B- j" a
7 `6 y: @* E* k8 o
迭代次数n
: B9 |4 g+ H2 g9 u
5 o, L1 u8 @6 l/ O0 H
迭代次数n
5 D- o$ Q- E$ i* G# \! M
$ O- M& Z5 A" h6 G3 F
迭代次数n
# ?' b7 K" Q* F( Z/ p
0 r& a* L5 R5 ]: @5 d O
迭代次数n
- Z$ V8 w2 {' H
/ r+ F+ @$ @0 ]1 q \+ u
迭代次数n
* t1 ]0 f( V6 q' Q6 n+ [
2 a0 Z. w M. o# `+ c. f
迭代次数n
+ x4 \! n# k( L" d
6 y; h# I4 @6 g% n
迭代次数n
' _0 f, b& k" \
% o( q! E9 R/ v
迭代次数n
/ q. T6 `2 \" {# y" ~/ W
# k* M) Z0 K! G+ h/ d y1 R7 L. ?7 N
0.01
+ J W2 O: z, C" V; b7 h. \2 M
/ i% s, p4 b& U6 Q% L
1763.1809
, G9 y) X& Q3 b- K
/ [4 y5 \4 v+ W2 W
1626.5729
( e7 o! Y- m+ R' U. Z9 _/ `
8 Z( @2 I a- q$ z6 R2 j* K
1672.4523
- @3 b" Q7 L2 r5 N" v
0 `# r- I# n* C; Q0 `
1635.9196
# g, C. j7 i; i$ I
7 w3 i. ]. E, A0 v
1596.7035
" u% `5 ]4 Z2 [7 O _& Y E
. e) J; Q1 R& x5 Q4 Y/ j
1620.407
q% J9 u% ~, z
1 M \/ {" M N- m* w
1563.8945
$ s- \ _. \( `1 r
4 g- \3 ?$ b/ d
1444.2915
3 Y& w1 k1 p8 w/ L. B5 k' c
7 {" a2 n, _6 y$ Z1 T8 x, d
1410.0302
) m r- N4 H$ D) E% Q
Q6 a/ \1 |* x4 b" ]
1465.4171
9 |+ S0 }5 K% ]0 S @" c
& T1 L/ O7 ]& d# A$ j$ ^
0.001
7 k9 J8 w, K- p/ Z( A
0 \1 d; I/ J2 G# F. ]2 ?
13065.196
# P9 A9 h9 @# @
7 \# V! A2 `, N: s) ?3 O& D
12674.945
" d1 @- F' m T0 i A0 G
$ {% B: @6 j# U* T
12747.729
/ ]5 V9 k2 T- X, e# k$ t
! S$ F. V$ B" _6 P) p5 i3 y+ V+ t
12386.216
1 u+ \ [" k% a2 a2 l
- D- Z' S: x3 O. Y) u
12349.02
; J* N' d6 _/ [) d$ H
$ r1 @. z; K6 M$ ~
12282.201
4 c' i; J- c+ w3 r" X* n. c/ l; ?
2 z; {- a7 @$ c2 L. D5 T
12270.035
" y2 [! U4 j/ v0 a$ o
3 P% Q9 D3 l7 E. o: {" Z% r
11338.477
# h- r7 e$ M0 w
$ U2 t1 Y ^' k! a( P5 M% _' B
10985.201
! z& |- p; o& n' z2 V
, `8 K) ]9 g8 l+ Q! S$ d7 a* B
11015.503
8 Q0 M! ~' u# q j7 W" Y* u
0 ?7 N, k0 W. G) o6 w4 s y) k
9.00E-04
- k" X& s% n3 t) Q/ g5 p
* U0 p+ f6 j/ g% o
14352.452
+ U/ t9 h" J- x5 L* J# a
. o7 o# Z0 _' A, b
14004.633
2 n' @6 u: K) v: t
3 N) @( N w. T) f3 C* W
14062.829
. s9 C) b5 f1 F& I* L3 B
- Y' h- P9 V% q* K# i
13629.467
6 ?$ j7 k# w, j* Y2 g/ n
/ [6 V3 C* o9 E6 c
13613.362
& N0 D8 X" x( o, d; `
& _& a/ A! l& D- o$ g# C: N# h. C
13609.563
( p, C" }4 P$ U
0 }* P+ g, e K$ L D
13530.322
# k$ Y& P9 W; b: p; o8 \
/ j9 P+ z: ?6 J/ v4 }# _
12458.171
% H+ c& ~) P& N9 Q4 V. c0 i$ I$ |; K
; x8 i' @- u/ }, y0 W7 o
12176.362
+ x# e) s, t, M8 g- t
* O4 w a! _2 S4 G8 \* t4 h, f
12225.96
- P" t$ Q3 |5 K8 R6 n' Y
% o3 B. {2 V/ R: G: o8 m
8.00E-04
9 a: O! a a- t0 ]
- n" F L! ^: K
16141.206
; k" M- r+ J+ ]) |6 C3 H/ ?
" s2 o" i+ Q# B0 Z& M3 c- c
15611.101
0 A0 u; C. ~8 p
/ N$ z0 I1 Q9 M+ [# Z: H
15749.91
& B C. Q$ r- M+ w# A
7 C# F, H% g( W2 y
15264.98
: o: A- z) _- b* ]* t
3 O) H0 X# J7 N
15228.447
0 `# y% @) E" `9 v! P. N9 X9 E9 i. Y
) o: i; O% E7 I& p8 a
15207.628
; o4 X7 I/ q- L6 d/ [: m$ f4 W
/ O* T( M- T: ^7 s
15053.714
: H8 g, G ^" C( j5 c. h+ P
# ?% H( q$ f/ }# O+ P
14044.729
! r" N2 w) K* D. X- E6 z. u3 b+ H
1 {: I1 V$ J* i2 Q
13530.397
& e5 Z& I4 m, D" I! w/ g
( I4 I/ i7 j5 ?0 n# M8 B
13654.678
% B6 `5 _8 m" ^" J
: d( y0 C1 y* k S0 D1 Y f7 w+ v. T
7.00E-04
# h m, l: R$ Y3 r6 r: `( g- w
. D0 h& U- h, e% V! X
18194.397
7 L2 p1 K5 T, Z0 D! {8 S% ~
& R7 W& B/ t% q6 G3 x
17760.638
5 z; W: f9 H" C
; t" ?. h8 u, R; D* U( w$ { J/ A( A* P
17743.578
! R% H: r: s9 Z3 ]1 Q8 E& p* E. Z
" W. D% c/ X* X- @: a% {- _" G
17333.377
0 U3 w" C! P' Q6 `1 S+ Y
X/ V( r8 W! S3 \
17293.874
1 c' k1 Z. X* W# r) D
! D8 G: Y7 I. y$ A9 g+ K9 u
17204.638
! q! o& _' A, x: z5 M
' ~* |% S1 S" I. U h. o
17058.809
/ b1 U8 D5 {! r- M5 Q g1 J
; W: l+ Y6 h" n- J" V* `
15946.101
% ~" ]- l! g! T3 H6 P8 d' @% F
* y: { W: D6 y: s1 P1 z8 p- D
15491.266
' G% ?+ K; n( b) ~) f _
, s$ y: \8 | k, {! U% d6 V3 h1 j% ~% D
15399.538
( U: \7 o. m* _" s; C0 A
9 ~ x* R9 t7 L) n j% t6 n$ D% v
s
9 }7 W c# Q' V$ }- T
) Q; i! M2 G7 q; K$ B
130
6 @8 }; _6 E( U$ E; o
$ ^. k# e3 v8 d7 ?2 \' O
218
7 D/ m4 Q9 B" ^
" g4 N" k M6 v! @3 \1 {
198
- e7 ?6 Z! ^. W7 l7 s2 T( [( [
# ~: p3 `& L" j! G+ a: I
206
: h# p, e( n% p6 M" d. e( c* E
% M) R1 ]9 ~) [1 {1 a
204
( q' i1 |6 Q( x3 n
- ]4 d' O: J+ ~4 i% e
218
! m8 u7 X- |5 ^- j8 d+ z6 o
2 E9 W( Z. R! l/ V: u2 u
220
2 a1 v0 [% ?" Y N
6 b: a0 S8 o" G5 |& {6 z, {; @3 s( L
204
: S$ T2 J* ~0 R% t
3 [+ T C( \! X" v' V) q
220
I+ Y1 L4 q& b u
4 m& c- U. x* c* d w6 j
216
3 z d2 s; Y% m7 f( L# F: {! C/ K
m8 ]. j1 Z2 S- }, N$ t
将收敛误差为7e-4的迭代次数画成图
: g4 h6 A6 [: U8 x, P
0 [' k' w2 Y3 u
$ w3 ^( @. V Z
2 {, V! [- B) Y; Y( A& a
再将移位距离S的曲线画成图
8 }; r; U$ b" `! S( I3 H5 ?
, x5 j& q! P. a8 P
' N7 b6 v: y% {8 V P* q' Q
0 G, ?" @2 z3 l. Z/ }- J9 c9 p
在这组数据中s和n之间的反比关系依然存在。
& C: y! K5 ?7 c. _8 n" R* e
2 ]1 h, S. G; N: T2 }
移位距离假设
3 S( I0 ` ?5 {- I; K
; G0 Z+ J5 D$ F1 i7 S& ^
(A，B)---m*n*k---(1,0)(0,1)
; j; V4 U* _! X Y2 q
$ `) W* T& \3 ?! ?) R
# c4 `" R$ \" n$ W: Z1 i
6 r, z' A5 K# ~% K: w6 w) J# ~: T
用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离S成正比，迭代次数n与S成反比。
7 W. y+ t* ^9 @, _/ Z+ k3 p
/ _; V7 ]. k, ^, i# m! _7 ]
移位规则汇总
) m+ \! i0 M/ A% n
* u5 l8 B- m4 U! K' s3 R8 ]# n
移位距离就是等位点数值差的绝对值的和S=Σ|a-b|，如果训练集有多张图片取平均值，如果是多分类问题则移位距离为所有两两组合移位距离的和。
) C& p B7 q* u* y
/ Q y9 T: Z. Y/ `" e+ E1 L
如对一组3*3的矩阵
- `6 p+ c6 W. {% y
% Y' P! ~* l& U: E0 I8 Z
( _3 G# j/ r# A. E$ z+ s
4 O+ c2 M/ m, y8 }- @: v
S=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|
3 u9 Y6 \! l$ w/ \+ L9 T# D" G
% }( Q% z9 k4 z! v+ O! J
如果是3分类问题，就应该实现3个形态之间的两两分类，也就是要完成3对等位点之间的差。
! T7 V/ l5 \: E5 w. G$ n0 K
2 H5 r& _- }1 w
6 m i5 U1 g" R# R. a& G; D
5 P7 C& d" a3 R9 }$ K7 y' D' c
因此移位距离
7 \% M+ \6 I! E3 P7 H7 a' p
3 c$ V5 F- Y9 j; i2 {) t7 ]
S=Sab+Sac+Sbc=
1 x& H1 e- w7 z7 Z6 c: d
) F" f# D2 @/ [/ r0 g9 I+ ~8 w# y& g
|a0-b0|+|a1-b1|+|a2-b2|+|a3-b3|+
" u( W2 x# X* |
; K$ @+ F0 K; |' K1 @
|a0-c0|+|a1-c1|+|a2-c2|+|a3-c3|+
) C) h9 J q( X& H4 s' L
) u+ n [8 F, B+ ^# O3 r
|b0-c0|+|b1-c1|+|b2-c2|+|b3-c3|
7 {% l+ }' ?8 _' n' r y
————————————————
& R. G! W5 v% Y# N# G; S% x
版权声明：本文为CSDN博主「黑榆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
& V5 {& @5 p: g4 r
原文链接：https://blog.csdn.net/georgesale/article/details/126690670
$ w" m5 h" p: G+ G4 L
2 I3 T2 H. R- c1 `
" `2 I/ ^8 M6 u% _$ G) Q
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5