数学建模社区-数学中国
标题:
三分类网络的物理意义是什么?
[打印本页]
作者:
杨利霞
时间:
2022-9-5 16:00
标题:
三分类网络的物理意义是什么?
三分类网络的物理意义是什么?
% t* W; z2 P* a1 R5 C$ Q0 h
7 I: [6 r/ v c" B2 }. V6 a8 x
用分类实现衰变
! `: J2 I' ?8 x! L2 Q0 N
专栏收录该内容
. @% D5 K# [# T+ g- c
52 篇文章0 订阅
8 ]; x7 ]6 r4 H' d% k' T: I
订阅专栏
" g+ z# y3 y! p# j
(A，B)---m*n*k---(1,0)(0,1)
9 O( X7 @* A9 @ H% W, z8 v, n
1 \/ ?! f" V a+ [0 K
对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境，因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v，则即便A和B之间的相互作用的速度小于光速，A和B之间仍然可以实现瞬时作用，并不违反理论。
7 t/ M1 B* @. h" w# h6 E
( e( ^2 X( J; J! V0 X$ V
( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )
- i p. x" H1 y/ b; n' z
6 x- j7 ?9 t! K! e
对于一个三分类网络要完成3次形态的变换。A⇋B，A⇋C，B⇋C，每一次形态变换就是一次二分类，因此对于一个三分类网络可以理解为由3个二分类网络组成
! V, i& n% E8 L7 B6 _
$ `# Z+ {! B h( | R! J
(A，B)---m*n*k---(1,0)(0,1)
: q& ?7 n5 {; \1 p% K
0 E9 j; }) b1 t- A4 `/ a. d) z: V
(A，C)---m*n*k---(1,0)(0,1)
* n; m% Z: V$ C) ~3 z% i i
4 l1 a. S/ t& t9 M
(B，C)---m*n*k---(1,0)(0,1)
1 T6 G( X- X- I# Z3 [% e
9 ]& @/ C0 n4 C% w0 _& I) a
这就意味着存在3对瞬时作用，也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小，而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了，同样B被错误的分成A和C，C被错误的分成A和B的成分也少了。
; A# p8 {0 p3 y
6 U9 w3 q x3 m( O8 f+ F
所以这个三分网络可以被解释为，3个距离为0的粒子不断的相互作用，随着时间的演化，最终变得越来越像自己。
( c+ j/ N& }( a. O( ~
h# }: Y* z: C* o
而前面的实验表明相同收敛误差下，迭代次数取决于等位点差的绝对值的和，这次就继续验证这一猜测。
+ J: Z) C" A& j
/ n( L: c! E+ ]# G# y2 ?9 g. B% }
用的训练集是mnist的0，1，2，3，4，的第一张图片。用间隔取点的办法化成13*13.
, r0 ^9 f, J# m ^7 \
/ U! r5 T! B6 T4 b" Y: X" g
( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复，直到收敛。共进行了10组得到数据
4 }/ E$ p) F) a0 g: Y2 l: T
0 l4 h5 t4 X0 e2 J f2 n
1*3*4
; v" P0 C2 ~- F7 c8 G2 z
7 ^' ^$ r" ?( w0 m
2*3*4
# Y$ E4 x' K/ R2 c. s
# T2 w2 Y- J6 v) y* U
0*3*4
' V+ T# B) I1 @# v
3 i& u1 `1 Q4 z4 N7 u* U
0*1*4
! X7 @3 `9 s/ t. X2 u1 m
$ w: X0 K9 K- l) U/ k8 V9 F
0*1*3
: _0 l- J4 p: O$ b* @
2 b5 o, A8 K1 m O# R
1*2*4
- @( l2 j/ @4 R5 p- O" p r
& @, S( w: ]& v1 J2 r& H
1*2*3
, x/ v% I7 ]: q/ d& \
/ U6 K( t) b% N& U
0*1*2
) ?% ~9 H5 C: P% b1 V8 S# t
# r0 q! w4 M, \9 p7 a$ ?- F
0*2*3
7 I: z' _9 _# i) H) P) P' ~) m5 C
/ N; ?$ T. T! |9 a) x
0*2*4
, { p& X) z5 q# h
$ [, F% c4 J z" m
δ
M% A1 _ e& \. ^3 A
; R4 W/ F7 Y/ ~* D3 B
迭代次数n
, c6 G; j$ W K8 ^" G
) f! v4 G1 m5 b6 x
迭代次数n
: B" \, r; E1 {- i. @
9 K: p! _/ U- v
迭代次数n
7 B6 j" u* S( e! y2 M2 E! w$ O! N. h
: j8 F9 O, s- u/ x! r- j- J. T
迭代次数n
) P3 z: N I5 w2 h8 i3 R+ o
, K& T$ S/ m" o% b8 S- |4 p
迭代次数n
; Z9 ~' K+ O/ k9 O' l
& Q+ V6 @! l. B
迭代次数n
9 n' p. I- n% ^/ u; X* b" f
H& Z/ y* [6 P+ N& ^( s
迭代次数n
9 q3 Q. K8 A# |- W$ P( a; r
' o; y* |( I# {: _9 o" P; C
迭代次数n
% v" R6 E' |4 r3 w6 ^& G. R9 I
, O6 c; \$ [- j- K- J
迭代次数n
- c* ^6 L& K5 b1 X
9 T; u' Z- T5 Q: _) q1 z, R0 P3 ]
迭代次数n
9 T3 ]6 ?) K5 G/ @3 ~
) D% N; B Z" ?
0.01
$ J4 g1 |# X) O. O7 h
' n( |1 ?! U0 H0 y
1763.1809
8 A1 ]9 ?& N" M/ i2 \/ }! |
: ?6 K2 J; ~! V t$ e* `
1626.5729
% x+ o' \' G3 V4 ?1 h2 Y
' e& G( h* S- U; O2 v1 D) a
1672.4523
7 i% J% ^( y8 s0 ?' A) Y
6 i7 I/ p- R0 o8 B. W0 W/ y- v
1635.9196
1 }- N! f: S3 d4 Z) Y1 S5 @% D
! Y; J6 ]. x3 A3 k9 x3 H" F/ c
1596.7035
0 T9 a5 ]& q+ |* t
0 z8 e8 j& k. ^8 q
1620.407
7 T6 H0 M4 q" }2 J) ?7 L
; d, a0 {: n* t$ I* R
1563.8945
& h6 J/ r) B' f c3 C% h6 K
* {: M1 `! V m+ N* ~ J: M
1444.2915
' L9 ^4 R" h7 v% i# Y5 k w5 V" S
. @9 }, |' w5 ^- q! q5 u _
1410.0302
& }5 d0 y+ f6 d7 n" k$ e
K: {2 z. h' {9 v, p7 k
1465.4171
; Z, b) n/ c+ g" J: |, X" u9 q3 X
7 h/ X# h8 f# H
0.001
0 ^* b; N( m/ o0 w) y) M
4 e, V; T! b- p1 @: w x
13065.196
! u; i' E1 a0 I
+ O; C8 E3 ]" c4 A0 q
12674.945
2 V- `+ P7 s Y, s6 {% o c! }/ W
3 y: \( a- M L
12747.729
# l w/ n# ]6 a* h* ~5 R6 @9 {
, U8 b* y7 \$ @7 M5 X9 b
12386.216
' `9 c8 U* G2 X
6 J ^. p$ M" f, ~; p* S! i, S
12349.02
1 z, ~, x: J. s. }8 B4 b6 o5 C: P
; y6 O7 i/ l, c) @
12282.201
1 C, \; t1 z7 y- }
" e6 p6 J) q6 u. U- z
12270.035
+ h; H9 m$ d0 K- m
6 X8 d9 f3 F4 P2 f
11338.477
9 K% O* }% u* r5 [ P; L/ {2 p2 V
5 v* O1 b* s& y( b- d
10985.201
7 W& s- u# |$ u, U% _# j
9 |- F* J( e& c# [) N4 Z# t) k! D
11015.503
* g4 N. c0 Q) n4 P
5 `! \- h/ G% @7 }, A. C" x3 h: c
9.00E-04
3 \, r+ b1 ^3 O1 z. I
8 w0 s4 U/ u* B- N5 [
14352.452
' t- q. e2 C2 u
5 H7 W' ]% v% H( p
14004.633
- w+ G# k- I! d. {3 s1 r3 G+ \/ I& I
8 E# D& ^) D! g& {- g3 U
14062.829
$ w5 z2 i" X( l$ C8 D% Q9 U2 X$ Y
& p4 F' H$ F( x; H( k0 r
13629.467
& D3 K2 R; [( Z
; E- \& y1 e8 |
13613.362
$ `3 ]: a' s7 f3 }
7 r4 v2 ~$ U1 t- P* ~0 _' G) v
13609.563
1 B5 q: O* v; q* m: x4 O
/ Z, Y# b/ i- M) t! x
13530.322
7 C) I6 U1 E. y3 F' }# J1 b$ Y
" G& b% s0 x# h+ t. S
12458.171
p1 `+ ?( L. H1 b# q
9 j# ^0 I# N2 ~# d i
12176.362
H1 {$ ^9 _$ O4 [0 F5 U# F
x U3 m: }# N E' k
12225.96
# F8 g) h! t5 O( j. M8 I8 i
3 G. B. W- O/ _
8.00E-04
2 i; m J9 f3 E# o
! r- T5 H1 R2 `0 }7 _9 K
16141.206
3 Z: ]; I+ l1 c8 _5 O
: D5 Z1 V5 A9 v+ ~
15611.101
; _& U" {3 B" A7 ?- A
9 s& K; k, a, c! T: X. m8 L
15749.91
3 k7 `: r* {0 |2 b; K
! Y0 g+ i/ G. u: \, k9 }. ^
15264.98
1 I" f! N+ x7 ^; Z7 r
. J, s% r2 q- \ c9 I4 ]2 B
15228.447
# x+ e! G6 T8 K! Y* Z6 Q
; h3 n5 W& D+ Q' o
15207.628
( J' o5 u4 t; k0 P$ G+ [4 Q" ^2 ^' `
3 V: ~1 V2 x9 g
15053.714
0 j ]% ], ~8 d" f
% k8 f9 `! P" v" O
14044.729
# D( u/ w' d. S. T G- K+ v
- \: p3 l1 a; h" R. H% }7 z2 S3 c
13530.397
% u7 z2 j3 u% s' e0 ^) @+ ]
1 h1 ^9 C4 _ k" a0 X3 f& ^
13654.678
$ H8 Q$ F: x4 X
/ t+ e/ E' B4 X0 ]
7.00E-04
# ^% J- o# a5 v x/ G. l: f
, w" D+ i7 L9 D4 S. Q
18194.397
) B7 E4 x. z! ?9 O
: k/ N; h+ u( n* w1 O- K
17760.638
. w4 D9 ^+ c# _$ T' n
* i* I% q, V7 ~9 F3 O
17743.578
4 X% t0 @7 Y7 |2 I
* ^1 ?3 h. X4 K* Z- J, H l
17333.377
, |1 h7 N$ r+ n8 L6 a
3 Z% P9 A) }+ p5 z
17293.874
" H% U% P% v8 r; v# ]2 T
9 p1 t: d' U2 O& W0 Y$ u9 i7 W7 U
17204.638
( Z4 y# w1 n! I6 k7 t6 D- P
: ^* Q" U+ z! y) `% L
17058.809
: L' V5 Z0 t7 L. h$ ^8 T0 }
( W, N. `4 \8 J
15946.101
, g6 c" F+ [/ R- P- v7 Z
0 a/ {- H* z! T
15491.266
9 E4 e( w* ^# J" n
4 i, k, o( { N2 b) `
15399.538
- J* K, H5 L$ v- E, c' c
8 j; d$ M& c9 X" x) g' g
s
6 f5 k# K3 T( t$ M* p! Y2 }( k
9 j7 _) j6 B P8 e* e( M
130
; o% T& w2 x2 p4 m; j
8 R/ l7 Q& X6 `" p
218
& _& y8 |1 H, b2 a! i: G3 a
5 Q# `9 }, J) k W) _9 I" s
198
, F- X' X7 b* C
, h: x* R' @: q& q& z2 `+ `, y: Q
206
5 z% a9 Q; m9 v
& o6 ~4 V; b- [1 ^2 _9 k& I
204
8 C3 O* O* ~2 O7 {5 U. H. y, }5 y; D9 e
4 J; F: M8 i# F ^- l
218
: `3 r+ y q& \9 v; s0 |3 |
- j$ ~4 V, ^0 h1 g+ ^6 l* c
220
) }# e* d# w! e+ L
% r) ~9 T& H6 G' z2 d
204
% _; a2 @3 b( F: P9 ^- ^: f1 G
+ ~: b, \: e& ]& i: f7 _7 V
220
* {6 A3 r- ^- F' f
! M9 L# `4 Z/ Y" ?3 S5 E) \7 S, @
216
0 V4 @5 ~0 e9 n" P
9 h: c- `. u* P$ t
将收敛误差为7e-4的迭代次数画成图
& o8 |9 \ g; b, E
0 ?, V7 l; v, y$ i4 c3 i
% ]2 d) X: Q3 z% Z
9 B4 n. a! N! y7 M+ O
再将移位距离S的曲线画成图
1 l, q) K a9 _' o% |9 R
4 G) P: k) m" M7 Q, Q# h( D- b- F
2 o8 R2 o8 V- p; m Q6 q, J
, r; h$ m6 J4 P5 ^
在这组数据中s和n之间的反比关系依然存在。
; p9 U' }4 _0 N3 T8 ^
. ~" l! L; [, k
移位距离假设
/ e9 a# v) D1 t$ w) K* n. v
+ w5 f3 \4 V. F0 U& `
(A，B)---m*n*k---(1,0)(0,1)
! i1 D& B1 X7 M
2 R7 A% J" j% Y& X$ K
, P! l8 x7 r" R# \
. ~. ?% O- m3 [
用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离S成正比，迭代次数n与S成反比。
+ a4 n4 }+ c* Q5 f
9 E, L$ P8 E' C
移位规则汇总
( }; v/ ?; m. O2 @- Y! }# d' P
3 D6 f# `# C$ G% [" p" U
移位距离就是等位点数值差的绝对值的和S=Σ|a-b|，如果训练集有多张图片取平均值，如果是多分类问题则移位距离为所有两两组合移位距离的和。
. Y% n1 g- f) x; |5 L1 D
# m; P5 o B% D2 K; h
如对一组3*3的矩阵
( X% y& C3 e3 P: O5 o
: J) ]" k% W/ u
1 B/ D) z1 w* }# P3 r3 X3 _+ M
Z- l; y4 X$ k
S=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|
. o4 ^) f' ` w) c4 X: _& W$ B" p
! H5 R6 S0 c' D$ }7 n( w; L
如果是3分类问题，就应该实现3个形态之间的两两分类，也就是要完成3对等位点之间的差。
6 p0 l5 n# f5 g$ P
L! E. Y% p; Q# m9 l& O+ V5 D
1 \6 O+ R4 ?+ v E+ t, B* k- o
/ Q- E$ j0 J! n% m
因此移位距离
; y0 u, {- @& u% z6 X
5 }9 h* V8 s& G, _# _
S=Sab+Sac+Sbc=
1 C- A' N, E; @; a7 j/ D
, @, s# f+ Q" k, A6 K- T! R
|a0-b0|+|a1-b1|+|a2-b2|+|a3-b3|+
1 {, F% L0 w# B/ } D; ?3 w( I1 R
/ ], `7 d; L& D% ~
|a0-c0|+|a1-c1|+|a2-c2|+|a3-c3|+
" o' Z; [* J. o. Z i9 c
; C" p5 Q% I8 o4 A4 ?) \/ ?
|b0-c0|+|b1-c1|+|b2-c2|+|b3-c3|
. F6 Z* z! @, ?: _% F$ }* K9 ]
————————————————
a( s7 t) o& n) f. A' i: Z
版权声明：本文为CSDN博主「黑榆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
3 z7 i: n7 _$ J' w
原文链接：https://blog.csdn.net/georgesale/article/details/126690670
7 h% y9 K3 }/ H9 A$ V
$ Q+ @9 g7 u. T6 r
" _. \9 O+ E% @7 u" r
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5