数学建模社区-数学中国
标题:
三分类网络的物理意义是什么?
[打印本页]
作者:
杨利霞
时间:
2022-9-5 16:00
标题:
三分类网络的物理意义是什么?
三分类网络的物理意义是什么?
0 F$ m3 M) n9 c; V
' y2 U- L0 [- K* J" I
用分类实现衰变
1 I6 S. |. a" [
专栏收录该内容
8 l3 {8 I6 ?: Y4 H+ L9 k
52 篇文章0 订阅
W4 _; k2 L0 M: c @7 c& A* B: g- r
订阅专栏
4 u* |0 l% R9 S7 |& \4 n( z; q3 a$ b* }( S
(A，B)---m*n*k---(1,0)(0,1)
i2 w( A% B9 {. ^# x
" y; v/ R$ h/ ?
对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境，因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v，则即便A和B之间的相互作用的速度小于光速，A和B之间仍然可以实现瞬时作用，并不违反理论。
: F( Y4 I; d# z( Y- a
8 N2 F1 w, i, L& Q6 Q2 q) G& X
( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )
5 p1 D$ ^- e& M- N
. A% b$ r! U3 M: G W4 O- p
对于一个三分类网络要完成3次形态的变换。A⇋B，A⇋C，B⇋C，每一次形态变换就是一次二分类，因此对于一个三分类网络可以理解为由3个二分类网络组成
9 | v; Q x% G( w7 p v
' ]+ L! q" F( q/ {2 G2 w; Y, v Y
(A，B)---m*n*k---(1,0)(0,1)
$ j4 t/ o: f6 P4 |4 H& b w
' I1 u2 k7 v' v6 q o
(A，C)---m*n*k---(1,0)(0,1)
' o& c0 \3 B5 q* G5 R
$ E9 e) g$ V! x1 ^
(B，C)---m*n*k---(1,0)(0,1)
6 x& k- Y+ a3 R* G) u( D
' o" ~; f: k- {6 \
这就意味着存在3对瞬时作用，也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小，而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了，同样B被错误的分成A和C，C被错误的分成A和B的成分也少了。
- h! W+ s# l- s
; Q, Z- ?% v: W) k! p. M, E
所以这个三分网络可以被解释为，3个距离为0的粒子不断的相互作用，随着时间的演化，最终变得越来越像自己。
9 s) J0 S! m/ E: c& b/ j6 ?
2 R) b- a5 Y& M2 Z9 T
而前面的实验表明相同收敛误差下，迭代次数取决于等位点差的绝对值的和，这次就继续验证这一猜测。
# u3 x# j3 Q/ |( H# {: Y- e
) a( Q; l$ h7 A* ?, N, k! }
用的训练集是mnist的0，1，2，3，4，的第一张图片。用间隔取点的办法化成13*13.
# C `1 {& |% C! u& Y, n/ [, w* \0 L
3 U+ \/ _0 d: O2 Q
( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复，直到收敛。共进行了10组得到数据
0 l j" d, c2 f# y3 r) p% P
. \" J: v; @4 v5 ` E
1*3*4
* t" `- y3 P) L/ d! I4 q5 i
& g9 B7 s0 I% U2 ^
2*3*4
: `' P/ o0 D6 X8 V, `; E' @9 _ w
8 j, a2 ~7 a! E8 ~
0*3*4
+ e7 y1 q3 X5 ]; z3 }
) b$ D& d+ j5 I
0*1*4
+ {# g1 k" E r# P0 l: C
: v8 {" X* y |9 Y
0*1*3
J. H M7 D/ G" O$ i
* b# ^' B( f8 c- q" R4 ^8 }+ Q2 Q
1*2*4
0 Y( ?- D+ q( ~! q$ T
0 l) m, [% O; e
1*2*3
* N! [+ G, y* n" F5 k' M
$ f2 }# t. e) \4 q$ a# N1 p. h
0*1*2
3 J+ X# l5 I, a7 g0 I) e3 |
% \+ H D4 |3 T
0*2*3
: d9 _: i# [2 s
1 ]9 I. d- F2 r& R. J; c
0*2*4
& C% A _1 r* z; t- s5 r9 A* J- V
/ g! l2 C+ T9 N
δ
# i1 A. W: }; {6 A0 r' M
2 e4 R4 P6 ?/ B4 m l2 V& f9 B$ Q
迭代次数n
! q6 e7 I! H- Z
7 ~& l3 P& J" ^5 l' ?& {* q% j
迭代次数n
6 O9 D+ v y) T
8 L5 w2 v V5 q; C/ X' c
迭代次数n
8 }: A2 | Y2 W2 P
* q1 h. o. f6 {
迭代次数n
: o5 w, T) z! Z3 k9 Z2 q
! X, ~0 i, Z2 ^9 {
迭代次数n
* m' j! v( I* n* ^2 L- v
9 ~4 L. V+ k4 Y- a
迭代次数n
: M4 Z4 q7 d: z( m* _
$ K2 c5 @& P, H& S0 |( r
迭代次数n
7 f! o6 W/ t. k$ u2 ?
1 U! z# A, e' _
迭代次数n
1 U9 ?( D! {$ w/ \" `
8 k/ x" x. d. j) g3 H, \; U6 h
迭代次数n
~- A3 K. b9 B, U2 T ^2 r
7 l/ o: h+ E: r" Y
迭代次数n
" s7 O) N7 k$ C
0 ^! q) F1 i U" M7 h0 W
0.01
) C- J9 X+ R3 j7 V
4 m& U& \2 @' @/ A" o; \7 R
1763.1809
+ u4 H5 O8 [1 J a6 j
! H9 H0 V' P; V, m+ ~" `2 @! J
1626.5729
9 V0 {" |* J# a( n2 u
. H; p$ ^' a/ r' n
1672.4523
- z" ]/ H8 T& O$ R/ c8 ^
; r& l+ j. c0 m% Y7 y
1635.9196
/ ~' f* y1 _8 J$ j7 @6 A2 [- G
2 f* W( p# c, D4 c* a. z. G
1596.7035
* w4 w3 X" `: s7 T; |0 |
2 }2 k3 D. n, W; ?. Z% q" n; u
1620.407
: e( U" {2 ^. Z4 m
8 t9 s) w; u6 I# D
1563.8945
4 C+ n5 ^6 N2 B; F
$ M4 s$ e k/ Z6 T* ?1 N
1444.2915
7 g/ g. a8 f j( N
/ s4 ? p( t) N+ z5 Z
1410.0302
) _' S2 n) c4 k( z6 s. f- H
4 f1 ~0 v o# ] I* w9 o
1465.4171
3 A: _* f, i5 _% `7 N! [- _; e1 @
0 E' O* e$ `2 I+ H2 { ~
0.001
7 l) a+ |% ] H
! w! N* v% O$ j. d+ l& \: x
13065.196
& s# P) E; u: Z2 | }( Z
' o( u! y8 |3 Z3 e! Q
12674.945
. q" W/ v0 P3 T
+ Y8 W+ T1 Q/ G R; v
12747.729
2 F4 \$ P. q3 j# _* V
5 B. Q+ I; z2 C1 I8 f
12386.216
+ Q4 f/ B2 @0 _1 o
! r' O2 |( @8 ~ ^) Q( |3 u
12349.02
$ j/ @, _) v; ^9 x
; ^8 ?, x4 `& ]
12282.201
) r* P$ C' y* h' e& o0 a& x: a7 K* c
8 H2 Y1 u+ q2 r+ B) K
12270.035
3 C# X( A7 Y; L/ Z, a6 b0 v
$ I6 h, B. d- V) U3 @
11338.477
: _$ H. ]% w: L7 G4 u4 e) }
; f- Z: m6 n3 m9 h* W
10985.201
. [8 I) T; Y/ S7 d; U* z
, L: F% P6 S# H" P, h# x* a! j. W, Q
11015.503
8 F9 T, p$ c4 P# Z
3 H7 c3 o/ F" x3 ]* h5 J7 P
9.00E-04
% l8 _6 Y# D6 d8 Q9 y# b( Q k3 [
9 d8 v _. X" K5 D) ?
14352.452
0 r6 z) y9 c2 `
1 y7 m$ G. |( O
14004.633
) L6 g! o9 t. l! d$ J& ^# d
- w$ [2 R; f/ r8 i9 l
14062.829
& I7 |; r/ h( `- f3 n) I8 g
( i# h0 d F! X) ]' g6 q+ A! B1 R" R, {
13629.467
! O( m E- B; Y
& s- K3 O( x! e s& ] c; t
13613.362
# G; c* D+ v! E# z; b/ D" _
( ]% C& w. k9 e
13609.563
0 w4 @& S( y1 z6 [& g; @# U
) g7 c& [3 d* ]" W$ {7 {
13530.322
! E& a G. T9 G) g6 ~; `8 h
9 F* M3 Q L) Q( x* J
12458.171
$ ~) ^/ d) {2 t- W5 L9 o
V, k) J }' U9 P* Z
12176.362
8 W3 U- \# ?3 d: f0 w2 h# [
% o, A* D' V# j' L5 K q/ ^1 d" _
12225.96
: h0 p9 j" b5 m) ?2 m7 o/ W& T
) G! C! w3 ? K+ U1 @
8.00E-04
- s( ]* S2 ?. i" X* Q9 ?
. y# ]) f1 c9 L& t+ Y2 d- d" w+ }5 o0 Z
16141.206
6 a& q n( j( h) i, i, K& o6 K0 M
6 r, E, }6 \# b9 l' W/ T% `: S
15611.101
/ _! O$ l$ t& j
5 }. m0 b( V3 `: ]: A6 _" T
15749.91
- U' U \$ [* G8 a
; n, ]4 _$ t5 w9 T) h$ h3 l4 H# y2 W! g
15264.98
' W( K w- E" m9 L0 c
: {0 k* ?' f2 ?9 \! Q1 J) c
15228.447
. S& F$ i+ y/ R ~, U4 ~, U; X+ x
1 K7 N6 M; Z m' w9 q- X! t' {
15207.628
; @: P" e( {1 ^; t* S& P7 U
. T9 n+ p" a ^ z6 C
15053.714
( M7 u5 I3 q- ^& T' ^
) D$ I! q/ {7 M2 b
14044.729
1 Z; G- m* E% }% h) T
) e& p+ C! k1 Q$ w8 a9 T
13530.397
9 u, B; v8 z; B+ d$ ^
% C4 T/ ^0 @5 `7 d9 |
13654.678
8 I3 l; I. {. x2 c- F1 S' ]( a* S; |
; W2 w, n7 k/ }( l$ W: d
7.00E-04
* x3 Y2 n# d7 c! J; L
t- B' x' @; C# n8 B9 R0 X3 \# w
18194.397
: Y" k1 r: d6 F
% I# T; p. m6 M; |
17760.638
& T1 }4 \& K7 X& S! y
' ?0 t* Y6 H3 E5 Q! m2 ~
17743.578
" k4 D+ Q$ T3 ]% p/ o& m8 P
8 H' s3 {7 M; r5 b
17333.377
/ |/ H1 o; P/ B- X, ?
5 O( F, ^0 |7 f' ~, i: A. a
17293.874
) c6 W4 d4 [& G6 e* U* _
7 c: g7 S0 \- |% V/ ^7 Q( X) d6 {
17204.638
! ~. l; }/ h+ o$ {) H
/ T3 i1 I- P8 N5 S; a$ C
17058.809
* P& n: q( x, a( d/ a2 D! E
/ B+ m! t4 M, m- B* y
15946.101
) Q' \8 x) e. k, Z" g
- M5 q" g9 @, k6 ~5 @& G. H3 f9 z
15491.266
1 v0 Z1 }& C$ g3 }9 q9 j/ L: o
% y5 l% X( L9 k) j2 I
15399.538
) t! a+ u! e4 z; z0 M0 o1 H/ C
/ B; g, C- t! {6 K/ U* B
s
" A- p: R# S, b; V! m u
8 q. u& a+ u+ M2 J2 f' h9 Z+ _
130
8 Y, o$ ^2 S' M! o+ l X
: _$ \2 c0 n8 i! Y# \
218
& m% u) A1 S6 t; |5 F
2 P# D; x2 \6 a
198
' h3 U+ \$ u6 [9 Z7 F* [
6 J; o+ K& W' l( G& a3 @1 k7 o
206
3 Y+ M/ y2 v H
# s. w/ Z8 o* Y; ]
204
]: `- `2 z& ?& n1 _5 Q
% ?' q4 Y- g3 u0 i1 s% @
218
) a. n' u0 _0 R% T" `4 b
& q, Y; E, |: q
220
: ^3 L) t! V) s m8 \% N/ G8 [' Z
+ w. r9 ]6 I+ I) ]
204
. b, E/ v( I. z8 W
) ~7 U; J) V4 ~$ M
220
3 k$ k/ U5 e- ?% u: c
1 l% e {6 s' j' M: k
216
' Y5 N: r5 c) t2 r' K) M
2 r$ G! D) P8 l8 C* u+ j
将收敛误差为7e-4的迭代次数画成图
1 H: [+ E- V2 {5 A9 L4 e2 B
, \0 X2 v; u' e* c- n0 O
- w9 V- Q" X9 w" h2 t" }$ Q
/ \; o3 O( [- i% V# s
再将移位距离S的曲线画成图
; d- p5 |" N8 q
. D9 P' w. t9 K* R7 G% d
/ N$ V7 g G* D2 ]
# L& |! ]0 d# @/ @( B5 r
在这组数据中s和n之间的反比关系依然存在。
7 e- ?6 A+ H# u
& C3 N. z/ |: o4 v! [ [4 H9 }0 v( b
移位距离假设
6 D- y" E/ a7 \! S4 u
t: L7 |/ @# s% ^5 k# e
(A，B)---m*n*k---(1,0)(0,1)
/ {. e' D' y; b, U. C
M! c: f+ H) q8 I. A9 H1 Z' O
7 ~# D( r( K, y+ i) y0 d, ` @
) L% N7 |, ?5 l; w& g' p
用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离S成正比，迭代次数n与S成反比。
) ^! D, t, a6 U
* r8 _7 E0 u8 x& ~( t- ?8 M. u& {
移位规则汇总
& ^* M8 E$ X4 ^9 X; w3 }
* L/ g" w( m1 @2 p
移位距离就是等位点数值差的绝对值的和S=Σ|a-b|，如果训练集有多张图片取平均值，如果是多分类问题则移位距离为所有两两组合移位距离的和。
8 `& Q. x) Y! G2 t+ w- W; V
U3 |# @' h" s' D6 Z0 @4 ]9 ?8 M9 q/ e
如对一组3*3的矩阵
]2 f$ T6 w" L, S9 K9 r2 J
( E3 o+ V% _. r$ k$ J! E9 |, t
' ]# R$ p8 O# \! o( v* O
6 K0 S, r- M$ Y
S=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|
% D, d" T( \/ n8 D. H5 \; c
% ]8 Z$ t4 F# t m; c+ H' N
如果是3分类问题，就应该实现3个形态之间的两两分类，也就是要完成3对等位点之间的差。
F$ U6 P7 S' T
4 ~4 K* C5 E+ J' [. T$ S
( u0 s% p2 S/ R: _0 l& H
2 s, s% {8 N2 n8 S5 o' y
因此移位距离
8 Y) z: y* Q6 ]# h( q _$ k+ I
: ], \6 W7 b- t9 _/ x7 L% d
S=Sab+Sac+Sbc=
% n- M7 R% O3 h0 O
* e: ~7 }/ x# C/ |) E
|a0-b0|+|a1-b1|+|a2-b2|+|a3-b3|+
: K1 C- K9 I! R+ c2 N9 u
' `% g" S' X9 ]4 A* e' p
|a0-c0|+|a1-c1|+|a2-c2|+|a3-c3|+
- M# @6 y6 o4 H
8 y i4 k) v" G
|b0-c0|+|b1-c1|+|b2-c2|+|b3-c3|
J/ k* D I2 {. C% R8 X5 w8 V
————————————————
% O; n* T7 N1 \# x* H* U5 }
版权声明：本文为CSDN博主「黑榆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
i0 B2 _+ H) ^% n" Y
原文链接：https://blog.csdn.net/georgesale/article/details/126690670
7 w. M7 C& ^2 i6 a- F
7 m1 Y) C3 k( n# }, M" t' c& k
4 z7 o7 C; O; I! }0 k
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5