数学建模社区-数学中国
标题:
三分类网络的物理意义是什么?
[打印本页]
作者:
杨利霞
时间:
2022-9-5 16:00
标题:
三分类网络的物理意义是什么?
三分类网络的物理意义是什么?
9 ^$ v. B2 i4 x8 S& E
7 A2 ?) i% f: O1 A" h0 z
用分类实现衰变
- c8 j# E& f W
专栏收录该内容
8 B8 z9 H3 {' u5 N5 D
52 篇文章0 订阅
$ h9 G! J0 ?/ X/ u1 |$ S
订阅专栏
3 n8 H' Z0 I0 w- u( u
(A，B)---m*n*k---(1,0)(0,1)
# G, b) l1 [2 x5 W# Q
( i* C8 @% B. w
对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境，因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v，则即便A和B之间的相互作用的速度小于光速，A和B之间仍然可以实现瞬时作用，并不违反理论。
- a# M% t7 ?9 U4 I
8 c- J8 I1 O/ M
( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )
2 I- o3 f# p1 |5 b, j, A2 @
f, w! w. W) H0 e* T) E% v" Y
对于一个三分类网络要完成3次形态的变换。A⇋B，A⇋C，B⇋C，每一次形态变换就是一次二分类，因此对于一个三分类网络可以理解为由3个二分类网络组成
3 n7 N, J7 X7 c2 ^' }
1 P w) ~3 j. e: s& {
(A，B)---m*n*k---(1,0)(0,1)
) L1 ~" Q6 v# e) q/ v
d' ?+ q6 J+ {9 w" }, e
(A，C)---m*n*k---(1,0)(0,1)
' @: t; y) d0 U; {2 i' f
" S d- p) [# u W& a# Y1 e
(B，C)---m*n*k---(1,0)(0,1)
& G/ U% ~7 g' x$ J3 X9 l8 r* z
, X, q' ]; e( ~# Z& X& P
这就意味着存在3对瞬时作用，也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小，而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了，同样B被错误的分成A和C，C被错误的分成A和B的成分也少了。
& u3 D. o! t. N X' F
3 w5 r- n* w9 Q2 ]$ w1 T
所以这个三分网络可以被解释为，3个距离为0的粒子不断的相互作用，随着时间的演化，最终变得越来越像自己。
) U5 ~$ E* V3 Y& h7 e3 f: a- r" W8 a2 h
/ V: {" l1 y" E& h! w
而前面的实验表明相同收敛误差下，迭代次数取决于等位点差的绝对值的和，这次就继续验证这一猜测。
' I6 b" Y0 v/ f# o( v
6 X- l4 @- b$ j$ c9 W
用的训练集是mnist的0，1，2，3，4，的第一张图片。用间隔取点的办法化成13*13.
+ \8 W9 D4 U+ O2 Y
% U& `( L+ f: K- R8 H7 e3 x
( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复，直到收敛。共进行了10组得到数据
8 P! N$ X" x* ~' t% p1 G* M T: \6 ?
9 W- J6 Z6 R2 ~9 {/ U8 S0 m
1*3*4
8 c# e5 ~# C. K* ]( M! M0 W2 T
. T3 y6 [ n0 d' h6 V* I! a
2*3*4
2 l+ a: R8 c. R6 X' v
# s+ ]$ O& V, _8 @4 k5 f% Z' Z) Y
0*3*4
- w- X) J) F& t$ [- P- ]% G% c4 Z5 k9 D
$ A( R2 Q/ ]; l$ u& b
0*1*4
8 L- a7 a/ D, q+ u# C6 I
% k$ e" i9 d# @; w9 I2 q
0*1*3
+ P3 S. G4 A% Y$ \
0 p3 ^: w2 M( S4 U
1*2*4
7 S- r, W2 ~* X
* y6 O( f- L- z
1*2*3
3 M" {) s7 C1 ^ J8 S8 Z
! b$ Y8 j8 h2 `4 u
0*1*2
7 e: T1 b0 c" D1 d6 p" ]
" }6 {" w) c6 H6 g! P: b
0*2*3
1 w4 O7 \3 W% o8 e
2 Z! M2 w7 A- N, Y+ d' }" q( W1 u# y
0*2*4
7 S: B! y! T: a( U8 k( A, c' r# Q8 D
2 T- A# F. r* Z& a G- ^2 }! k9 W
δ
3 s' M# l% ?* W5 z% z e
2 C% x8 H" M+ p- M5 Y
迭代次数n
3 n# f# E2 \2 W4 k0 |/ k
5 P z/ ^( r: T) C
迭代次数n
& W9 o+ s# ^( [1 u1 s9 K2 j
9 `0 t4 _: g# ?+ x
迭代次数n
7 H% c. {- e! d" `, S: e
?! u0 O+ L: I* n
迭代次数n
' j; A" f' T0 ^+ u" b" ], H3 {
# b- b0 i/ i- d, O9 p) G" I& E
迭代次数n
v) h1 O2 v8 y" i8 h' z- Q
$ E. ^1 n* `, Z3 v/ H
迭代次数n
+ ]# }, R- z( N, o4 Z
( W7 v T' {+ E1 f0 x/ h/ v/ S
迭代次数n
/ P9 g& o0 J a' }, g; w
4 w( _1 ^4 U( h; a# ?
迭代次数n
1 M& Y; h; F6 z& a( a1 c* [
6 O0 @$ O# _% k6 q `
迭代次数n
4 B5 w7 X u6 O: z# I" _
4 x5 _* L" h$ {
迭代次数n
, w- [) X, w8 z( h7 T# N
& H( i9 o! [% m& M# t; e$ z
0.01
# Q% G6 A s# D. p8 c' O+ U
0 E/ O1 Y, E, u( p
1763.1809
) _/ `" g$ k3 }; R1 ~3 F4 c9 g
2 v7 a9 J. o2 `+ ~6 N& \6 e7 R9 W
1626.5729
1 i" L: K5 _1 Z) A) S, r& }5 Z
( e0 D/ V, c$ U' W4 k
1672.4523
4 @- |/ m$ [) }+ L& H& w1 Z! o0 H# _
" n4 \( h$ g- C4 |8 E( a% [
1635.9196
+ X6 |# R2 X( R" i0 W$ j/ y9 F
) m/ g1 ?" A0 b+ ~ O6 Q
1596.7035
+ f3 V% {0 {0 G4 w0 w2 V6 d7 W
4 v* y) j$ j- D! ]# Y4 g1 P
1620.407
! S6 r$ ~' z" t5 ?6 ^
1 r8 W, \ e' E$ }3 |- _
1563.8945
+ X2 I0 J2 B/ S1 v3 Z8 e8 [
; Q1 F4 m3 e' I0 p8 Q) ~( b
1444.2915
5 _ g$ K! B6 t0 Y
`2 i$ ~: R+ ]9 C; g- u4 Y9 a
1410.0302
2 i( O8 Z9 {- [- C$ |% S! _
( f7 n% v/ w/ p0 \/ q7 K
1465.4171
& m; v5 }0 G% M3 v
9 U+ f: P3 j* y* v
0.001
8 B: |5 V+ [* b! W! w N# I
9 H. r* b. D; ]5 C4 K6 i; d( `# d% a
13065.196
' y1 c; {, X6 Q4 \8 g
8 V- L/ w! B' a/ ^/ L
12674.945
8 }+ W7 P! v* K! O
9 P/ m r [, ^/ U+ S* w0 d
12747.729
# @& d' ]( Y7 Q5 M" P
# G ^. Z0 D* x: Q5 S9 T: M* n7 Q
12386.216
. k9 b# s6 u* r' D
~& P6 w" j3 Q: w m
12349.02
1 z; n8 e& N- z0 Q, E
- ?1 J3 R# H& P2 P: d$ h( e' v
12282.201
* ~3 `3 k, E* G
: R2 ?* Z& A D% ]
12270.035
o8 L$ H: k, P: W9 d; Q9 f3 o W
2 P" D2 t: i: i( Q" h/ w1 H
11338.477
/ \$ w+ C4 L' U$ L; }
7 O+ Y* i3 O+ f+ W
10985.201
3 N+ e1 ~- d- r4 e7 f+ R
) n e. J# o' O0 T0 D( d! j
11015.503
) j& x+ O# {/ p* _2 x1 K3 r5 P
0 A" L6 ^7 f i
9.00E-04
3 M* @+ U* o5 [! L) R
5 w w0 ]) e, b- }9 V; O; E; g
14352.452
* T3 h# f8 S$ t/ ]+ }& s D3 z9 F3 `/ F
; @, g. @' T& {& v3 z- F
14004.633
9 M7 q- {! X7 v7 J u
& g+ q: l9 ?( j
14062.829
# ?) w) U* B8 G6 I5 B( l
3 o1 j/ e, B& v
13629.467
; y' [) h8 @3 P9 O( X! r
. S; W6 u. R: P; }
13613.362
$ S2 w) J/ P, f2 f m4 L9 K% ~
t }: A$ U. I1 I V$ m5 K
13609.563
; r( a7 X k ^* M
. B4 v* Q( ^& @7 O# K
13530.322
# K+ X" d7 B Y2 N
: W$ X6 ]4 Z/ ]" j: E
12458.171
6 n* l) T1 `; e+ f l/ T
& r+ [1 v* R9 c' h. o, f- A' f7 u
12176.362
# u! L8 O% r2 u/ L) _* \
/ a+ k2 i7 _- k( m |
12225.96
0 T% |* _: C* l& E+ \4 q0 [8 n
3 `+ W8 R' S8 N- |' P1 M
8.00E-04
5 B( L, L( j1 \3 e
1 E; C9 k) ~5 Y
16141.206
( P5 o* ^9 s+ ^ ]/ c
9 [; ~0 p z5 f9 u' k% S
15611.101
+ b8 f J: L+ W! G' O/ q
3 o p& x9 E+ r$ y. @; s8 c
15749.91
0 g/ B+ m: _2 J) p
' ?3 q' m( R* ^' N* Q7 g# U8 b3 F
15264.98
+ M) P, f/ i+ D
) |5 `$ K* e v" @6 ?# x% y
15228.447
1 @0 p9 A( N1 ^. j+ `! K3 Z
, h) f% s7 ]2 |7 s
15207.628
2 t, Z6 j, k7 Z e( K+ r# B
- A& s# m& X8 {* j$ {7 _; c% t2 |
15053.714
& b( V: V6 a Q/ @" F/ ?
9 B. d& @; H( c+ R0 u2 B9 Q
14044.729
6 Q+ Q0 J) A7 j$ _) n
]% d/ k3 @ y3 Y6 \( L
13530.397
" \$ K( R* p& I2 q& i
1 Z z$ k9 l% Y' \9 d
13654.678
: Q& B2 ]1 i B8 S4 a1 C
/ g$ e0 M# `$ z8 L1 y1 v
7.00E-04
+ `+ b# P- q' y4 c4 F; x8 |% H/ {
- Q$ H' W; i! q% M# d
18194.397
6 J" b* V) [+ p9 E* M. m, J! M7 ]
& J( E1 T: j+ J' ^
17760.638
2 _- j4 N" q" u/ ]+ v$ e5 P& Z/ P
$ ?# E% R) R' K/ A8 S, q7 T
17743.578
# s: ~5 X2 [+ w! U7 H8 t! m! z
) ?8 I6 E# r; G; N
17333.377
, b) E- c S% a
8 P8 a5 z# H- ~. _
17293.874
7 T2 n, o# E. T/ l2 K
0 O, F0 C, z3 h6 h7 `1 }% d
17204.638
; q# b; t: ~0 @" [9 m
$ _9 O& O# Z) O0 F4 _
17058.809
! {; t- H9 Z7 r; F+ d
5 ~( u. ~) L; Y: j2 \7 Y' d
15946.101
: E( h, [5 R. F# n9 j1 W( ^
4 m9 ?. T8 _: m3 k! z; d) n
15491.266
1 j" y/ n# m( W( s4 g) H$ [; S
t9 ^8 g5 c7 [/ t' C5 ^
15399.538
) u- U0 H. K' q2 b. J/ c1 a
* S" V4 y, A; E# h. v8 R
s
1 Q" U/ j5 x4 i/ c6 \9 j+ L& l
$ k, r% s: \# V; }5 @" M' ~8 A# g& c
130
0 R) t& g) l* E# n
( U2 j3 [7 C8 V/ q8 t H6 O
218
: \4 w5 g7 j7 r, b* o9 a. A
p1 a, @9 a: m# W
198
+ z& v$ o* H% L
6 Y+ ~" v5 {$ u4 A% k
206
+ d4 E: V t7 u P! l5 A' I- i' ^
2 R0 t2 j! m# b; h0 x
204
" x! Q2 L/ }/ o5 q& Z0 o
8 h& \7 \: B& J5 Y# _ K7 ^ J
218
- \9 `% S, X' h, O+ J* Z
( I$ X/ W8 U! l5 A' G ^, n
220
0 L* t" a2 H6 ]2 u" ~% ~
9 M( X( B& v$ [$ q
204
0 E6 n) }; @" [% C4 m5 P8 j
; P6 m0 W8 U: V6 j& K9 h
220
" e5 a# M/ ~$ r7 p% {2 Q. ]# \+ c
1 v. s" h! P8 ?' S# S
216
) \6 O0 T1 F* T5 p+ z1 d
# z+ y. y& B/ h
将收敛误差为7e-4的迭代次数画成图
) J: C% b3 b+ G5 Y9 s0 G
; x0 F% ]0 Y3 p
+ W# M. K8 l9 R4 _, J8 W0 ~
# k% s+ _4 `$ B6 s
再将移位距离S的曲线画成图
( ?6 w( ^5 a# j7 L2 d V; g
t# |/ x$ Y: v* }+ O
4 }5 j6 Z: Q, M5 c3 g* V& s) u; _
$ _2 P0 `- D3 c
在这组数据中s和n之间的反比关系依然存在。
* `0 |' n$ n- Z' j, D' f
) y, e, } \7 U* @+ S/ Z; [% r
移位距离假设
- B# L* n: S. [
" B: n: |( R! x! L. F
(A，B)---m*n*k---(1,0)(0,1)
1 a! m$ V0 }+ x, L; p
3 O, X2 G7 y: s" L! J' y& g
$ N5 s5 B& ], t
) y% e! w( F6 w! P8 N
用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离S成正比，迭代次数n与S成反比。
5 E1 C& w c( x1 }; c4 G
% p/ _( Q2 \5 T2 R3 ~! G* @8 q3 B
移位规则汇总
7 u/ l) s) G4 W: Q
$ V, G4 D, S. d* r+ \
移位距离就是等位点数值差的绝对值的和S=Σ|a-b|，如果训练集有多张图片取平均值，如果是多分类问题则移位距离为所有两两组合移位距离的和。
/ i2 W, y. U8 c- W) Y7 p
$ _) n9 O2 I1 X2 ?' r/ d
如对一组3*3的矩阵
) Z& X2 L# r8 i" f
. ?8 z) e: N2 r3 v' v6 t8 i
/ n. `( I( ?: q$ d
" |" [( h6 F3 ]+ B
S=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|
/ m8 D* I3 _- Q- E" }$ v, q1 Y
/ f4 ]9 F& N! ~6 f7 [
如果是3分类问题，就应该实现3个形态之间的两两分类，也就是要完成3对等位点之间的差。
( s3 ^! T8 s; r- G' y. ?7 k
; s$ D! r: ]9 Q X- @; B9 K
! J2 z5 H8 N5 @
0 |2 o& K. s+ G: P: `+ L" N/ J$ [
因此移位距离
9 ]+ G J( E# q" h% ?
7 |; M6 B) Y$ r1 ^, i
S=Sab+Sac+Sbc=
6 Z# P0 W' s6 }. C0 N
( Y5 E' `; E& D# k" `4 l
|a0-b0|+|a1-b1|+|a2-b2|+|a3-b3|+
/ _( p& B M2 c1 F
+ v }$ z; F2 t* _
|a0-c0|+|a1-c1|+|a2-c2|+|a3-c3|+
. C m* P1 j$ G; Q" m3 b
- E( w# W& y2 M: r
|b0-c0|+|b1-c1|+|b2-c2|+|b3-c3|
3 I) f) E: P# j8 z
————————————————
2 H8 k# V: {( Q/ s% Q: s; `
版权声明：本文为CSDN博主「黑榆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
; D9 g4 A/ X# M: ]
原文链接：https://blog.csdn.net/georgesale/article/details/126690670
& h8 L- @# e0 l' D
" Z+ ?' s) ?: p! w
5 ~) T* s( Y. U" k/ q: l, @3 ^
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5