数学建模社区-数学中国
标题:
三分类网络的物理意义是什么?
[打印本页]
作者:
杨利霞
时间:
2022-9-5 16:30
标题:
三分类网络的物理意义是什么?
三分类网络的物理意义是什么?
6 v% D M' M% A1 r
6 ~! m. o! ]+ _, Z, Z! ?" i9 q! ~
' l3 e6 Q% G5 r8 Z
(A，B)---m*n*k---(1,0)(0,1)
3 z% j r: S: ?
+ R/ L. F6 e7 ^7 u" `( k
对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境，因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v，则即便A和B之间的相互作用的速度小于光速，A和B之间仍然可以实现瞬时作用，并不违反理论。
) t) A- A8 u' f- v& q4 M
, `0 _/ P+ t1 d$ C& `
( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )
% _* \' v/ K7 W) e& t! }& _" b W
, H% p( x5 I+ E: f0 E0 u, g! @
对于一个三分类网络要完成3次形态的变换。A⇋B，A⇋C，B⇋C，每一次形态变换就是一次二分类，因此对于一个三分类网络可以理解为由3个二分类网络组成
w9 \7 c& U0 U5 P. |
! t! d5 ^. ~; K1 ]- R' a- \) f
(A，B)---m*n*k---(1,0)(0,1)
* r9 Q) t8 A: e' r* g
S6 O6 ^. F6 Z* u3 e$ M$ B, l+ D/ G
(A，C)---m*n*k---(1,0)(0,1)
3 @4 U+ H+ A! _) o! w
% D0 ?! r" d' p% G+ Y S' @
(B，C)---m*n*k---(1,0)(0,1)
( j: d8 Y: @- T" w
" e; |. J2 u& |8 G
这就意味着存在3对瞬时作用，也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小，而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了，同样B被错误的分成A和C，C被错误的分成A和B的成分也少了。
% i/ r& a( f1 l. k+ @% ^
4 q& q; i$ x: Z& M
所以这个三分网络可以被解释为，3个距离为0的粒子不断的相互作用，随着时间的演化，最终变得越来越像自己。
9 p" W+ k6 ?% k4 [
- t) K1 H* b8 n2 i" a4 j% w5 p" j
而前面的实验表明相同收敛误差下，迭代次数取决于等位点差的绝对值的和，这次就继续验证这一猜测。
* i1 H/ t0 v( B1 v$ \( O; P9 I
8 S& X+ Y- L1 C+ Q
用的训练集是mnist的0，1，2，3，4，的第一张图片。用间隔取点的办法化成13*13.
. }: {4 W+ p7 q+ x, {/ W" A" ~/ S8 w
: j1 U# j2 c: P' R- F
( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复，直到收敛。共进行了10组得到数据
7 Q1 P9 b9 B, t. K! ]
! [# b8 I* G0 B" e. U L# S% R( j
1*3*4
7 y5 s8 {' _; `
, ]! R# }4 c5 C
2*3*4
6 I# g: E; o5 X7 ]8 c) d
1 s! b; x! \4 i
0*3*4
; q3 P$ W7 }$ v3 |8 |, g
; j+ R9 D% i7 X$ m9 m- R! m4 K E
0*1*4
4 F+ r |: }3 c% r4 ?8 e: g
- g" u7 ^3 H% G# g4 g' A
0*1*3
6 h! E5 g1 z) m+ D5 b
" C- R1 U* c* J2 ]. t" k$ u) z
1*2*4
8 U+ j8 L& w9 d& e0 A7 r# s9 `+ V
8 G" O+ W" j3 R; c- y( i5 Y5 E
1*2*3
: g+ Q ~7 \* t+ ?/ Y
' T! @, w5 h( c, @. Z0 ]
0*1*2
" [6 O ]( _5 M: H. i; v) r
* K; E* ?. a: x1 i6 W/ P: p0 ~/ m# _
0*2*3
, i! c' A) C( ?+ a
* q1 W6 d5 n e2 ~$ w! q
0*2*4
. M8 b& T* m' {; H1 c, g/ Y
# J, h1 N' Q X! |: Z
δ
h i8 M0 s D4 j" V( ^/ A$ T8 a
6 v' g; p$ h" l1 U4 s% v3 B: f
迭代次数n
4 Y, X2 _8 x% V" S2 Y) j# E* ]' p
6 Q$ j; {4 P2 A7 h; I
迭代次数n
& K# y$ ] k& I4 V; k( y
+ f8 O: S$ A3 B9 }( }9 N
迭代次数n
+ z9 \' S. C: E6 Q5 A
2 }0 w x: C: M* m- B" \
迭代次数n
; h6 e2 T% j$ [% D
7 Q- h5 a& W. f% o
迭代次数n
! c& u# t) | a; H6 U" G5 W6 n1 ]
0 I/ J# @( m1 ]1 t9 Z, E& f
迭代次数n
- r2 P- i5 i: S$ M/ g
2 J& Q& M- D% N7 v5 t- S, J- G0 e
迭代次数n
o7 d7 z. u$ f6 `
* g7 M, F' _( h
迭代次数n
7 D" E: t8 t, i4 o: e
8 }' i+ L5 Y# a; ~
迭代次数n
( H2 q9 d1 i7 ~# t! o& E! v
2 h) \/ @0 z4 @( p
迭代次数n
9 W" S5 \, D/ r, Y! y: p9 v
2 J f* h6 Q) D; L$ A. R8 m
0.01
- D& g/ z C) c" _# Y
( K2 K* m0 k0 s8 Z2 a0 R, U
1763.1809
9 O6 `0 m/ d3 |7 a2 R4 O" _
1 k9 ^6 W" I& }! r5 k% n+ \0 g
1626.5729
2 ^% n4 ^5 r' j$ o% f9 D( G% W+ ~
5 v! s) _5 X( p$ O0 m
1672.4523
5 T" R) `/ W3 J/ }
" H/ a' E, Z7 h) {2 f! r. c- G
1635.9196
3 x6 A% `: d/ c; A
* G2 l; Y. k, b6 z: r1 K$ O
1596.7035
7 L" O9 ~+ b- n/ |* C; o
6 a y7 Y4 Y4 k+ t' i
1620.407
. R' S- z6 u& @' _
( E1 M; I( |. d k$ Z3 ?& R2 \
1563.8945
! m/ K& y" T6 v: H6 O: A
: Y. T& B% A* n9 j9 p
1444.2915
/ |' O6 p/ `9 O+ b+ w1 z. N0 o8 D
; z( y) i$ T' J" b0 F' p9 E8 w- e
1410.0302
8 h% ?0 f- e* a4 Z
' {; U7 }% w. D9 n- J' ^7 q, I
1465.4171
( \7 @0 o4 S0 [7 g$ `7 } _3 {8 o
8 j' C0 z4 x/ @" x* K
0.001
# { M$ V* O( \+ J' Q& D e
2 A2 w, K, Y- h+ u
13065.196
: U8 H$ t0 \( ]4 R* k j
. v1 @1 H- X+ j/ \. N
12674.945
# b6 b; @) b" f1 f6 f+ P+ u) b, {% ?
5 }4 ?( ^+ o+ {5 K- a8 x
12747.729
6 E! H0 F6 [- c" `, s2 ^
( E0 u2 L" f( s7 X. |- j# [. e) c
12386.216
! I5 j& Q4 u {& n$ D8 g
3 e/ d! ?% q3 D6 @5 X/ B$ F' Z
12349.02
; L3 k+ V0 e& K7 n; j; i4 l. Q, r
7 ^1 K5 u# i m' o& Z# J: J+ O
12282.201
4 f, t! h! J, d
' d+ v- B% t9 K
12270.035
" v* h" }) P3 A/ \: G- G6 f8 p; g
5 w% e! E2 t( S: Z" n8 G
11338.477
1 O1 [9 ^2 }( ~1 D
" D5 G+ V- j+ F" D& u; ]% q& ^1 k
10985.201
8 J& |& a d0 `: Q
3 F8 u8 G2 c/ h g+ ~7 p5 n
11015.503
# X+ X$ @) F6 I& M
, A$ U+ G) J* G+ g0 d( u1 D3 [) P
9.00E-04
# ?2 @" @. E2 o% G2 N
4 C$ {- A6 e+ }: W6 i y
14352.452
* ^0 s2 x' m) M2 ^7 q
" h( M. D% @9 o( {
14004.633
( ^4 U( O; H2 e( w2 ]4 z3 @
?! s8 {+ l1 I# K
14062.829
) E0 Q4 L8 }, @+ ^- Z
* {7 L* U3 Q4 n+ X- J. m
13629.467
- c1 p" C( @; q: w& X
2 Q7 R6 n7 q1 @. F
13613.362
0 t' g# X1 J, ^, K
. y, }$ G5 N4 N
13609.563
# i3 t8 }: B2 W% i( s
% u, A7 K) c* _$ u7 S
13530.322
; b z# G9 j7 p& J$ B/ Z4 C
, ]; x9 k; s" H. s, e) h$ P
12458.171
! x5 Q$ u/ W2 @+ r
% W. ?" U9 q% I! g9 q
12176.362
. h/ ]4 l: V/ c/ x' p
, k' R0 z1 ?0 ~
12225.96
5 v2 w. s" c6 f, @" Q0 l7 \" ? J! u
4 N8 V# X- c4 e Z$ t+ z
8.00E-04
1 V6 x) Z; L7 v0 Q, e
5 \6 d, {( y. e+ H3 @' v: ?+ N
16141.206
) j7 G# F' n3 s1 {% C# n
3 Y# D- {$ u) h5 U$ w1 P) j
15611.101
) t' R" a, r) M2 B+ r9 _
R, @& N. F6 a/ \# w) F
15749.91
' S. h8 G7 D/ `( r0 L
) E; {! o/ N! I: y9 b
15264.98
: g8 [( U# o4 F* w4 ~
, q( Y; o/ k: g& d! K2 z! Y0 ^0 t
15228.447
' j2 d$ S' |- I; ~
& o/ F+ y1 O- Y1 @
15207.628
' h" \+ v$ W( }
1 D, w7 B3 v2 h& x" w
15053.714
1 h3 k+ I& ]# s$ L' Y( r- Y
9 _" p% {6 H/ e3 h: o3 `
14044.729
* d+ V' t' V5 t1 g/ }- ?! g: w. h6 ?
0 f/ \1 H. P( _. x1 @
13530.397
, ?5 p. h' ?1 ?1 s# z+ [2 i) B) Q
6 O0 o0 ^2 o' A `" x& d; c
13654.678
; z/ s. [! v8 t+ O
0 t- j. s5 y/ k" Y. K
7.00E-04
: x- B5 ]! V- G9 a p
- z: T: i- E. D6 _& t e% _3 h" B
18194.397
1 o1 s5 @1 E9 J% Y& @3 S; x' A
% G9 F* H+ z3 E* X# t! \7 r- _
17760.638
/ S% g; v& C# X3 s* `
* [' k: S: O/ x0 V4 n1 W
17743.578
7 p/ E. K0 F7 H7 Z8 d8 s; O2 O
' q8 o- Y4 t3 ]
17333.377
& E- [4 M% @* m# \' Z
2 x* Y( F! i' Y' Z8 B. l0 u# \
17293.874
, ] D% Y& p% b
- z1 _4 m+ O( q
17204.638
% @3 J: V8 j8 g/ L) N3 v
& p. z/ C* q" t
17058.809
7 A* l5 O1 W/ H
' {( Z$ k( d& r- {
15946.101
$ X" z8 z2 D+ n e4 d
* q8 I" Z3 l/ N) r. }5 v9 j' F8 b
15491.266
# g1 `* m" }8 Q6 L" y/ R
# ^' z& F! E% Q4 B" C7 Q0 u! B
15399.538
" [% x# ]4 M9 }! Y# {9 j5 `
c) g2 U+ ] d) B. t# R6 X
s
( A& @% Y$ J0 N
0 o+ l A3 s3 }* m- b
130
, g6 {1 @: T9 {7 Q, |5 f
$ {- F8 }$ d/ m$ X6 V' d1 {) S
218
" l/ C; |' D8 P& e9 b% q( J
! N; A# B; |+ ?
198
7 I1 y& a1 W1 q" B V: ^2 t
i/ f" R) D1 v& [. [
206
9 u0 k0 Q" c; V [6 ]- z
1 [5 j" f. b9 p% _& | l5 ?
204
, E ^( v4 T( N
1 G% @+ ^ V7 R0 {
218
6 O% `3 u" s7 k
" B0 b. M- J" ^8 _) R
220
4 Z, R0 n/ \( n. J+ ]2 f w2 m4 {! z2 K
: t0 }4 t" o5 S
204
9 L- n* m5 j, ^/ }! b' c6 u
5 J1 w! K9 [3 C
220
" D7 D, ?5 I3 M
$ V8 N/ j9 m6 ]' _0 l6 S) J }) ^& v6 {
216
% Z& ?- q4 p, o; Y5 W% Y) S
# d) _# Z8 g7 ^1 k: ]* _; w# z
将收敛误差为7e-4的迭代次数画成图
" u% a G6 d5 ^
+ I$ a: b4 \ b' [; h% F
Q+ A0 O5 r' w! f- K D
2 p+ i3 c. l# ~4 {' u: T
再将移位距离S的曲线画成图
; E+ H" Z# `! \# X, b8 I" ^
0 m) {( Z) b3 s' V+ j E
, k; o" L) m# C0 ]* p4 Z) H" Z
& t3 |" a& p E5 W( [0 L# f
在这组数据中s和n之间的反比关系依然存在。
" n/ c+ k! s( ^% o0 f' Z1 n
4 C0 f3 |, l( T4 M
移位距离假设
% L. Y) ?7 F: u7 k% f+ i
, r7 s* c) @" |8 M" K- f
(A，B)---m*n*k---(1,0)(0,1)
: i( w! ~% P1 J- K( R
$ u1 @- j9 o a8 I, M+ T8 A
% K" N G* @3 O+ x
% f8 Z) t5 n7 u7 @( F4 l
用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离S成正比，迭代次数n与S成反比。
, O1 L6 ^! Q* f, V5 ~3 @
/ ~' X$ ]1 u0 n) \
移位规则汇总
2 |( ]" t, T/ W( S G9 X9 e1 w, j9 b
- W# a- q8 P1 ~1 L- b- G, x
移位距离就是等位点数值差的绝对值的和S=Σ|a-b|，如果训练集有多张图片取平均值，如果是多分类问题则移位距离为所有两两组合移位距离的和。
* [+ R8 I9 h: z) G
3 c4 l& p6 o% ?! g2 G/ f
如对一组3*3的矩阵
% c# a: g5 t L2 D& {
8 r- E) D& M( y" `( h1 {
" Z `/ y* u0 @8 Q: ^2 t
7 X% i+ |9 A, D, H# n7 d
S=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|
; n6 D. D# Z: D7 D- W* x1 r* w
1 H( K# `' K0 B
如果是3分类问题，就应该实现3个形态之间的两两分类，也就是要完成3对等位点之间的差。
6 v( o# H! D* w3 o- `
1 M( r1 G+ P% v
7 f& b/ H3 V- g# X4 O! W
; M6 U1 `' u9 U5 f
因此移位距离
9 B' |9 M* v8 d5 N, ]
: c3 X1 ^4 r# j9 Q" _2 o
S=Sab+Sac+Sbc=
+ y3 D; M1 d. t( \: X% D3 ?9 z5 R
6 X! s9 \& @ y+ p# n
|a0-b0|+|a1-b1|+|a2-b2|+|a3-b3|+
+ @3 q" N6 L. {- p
: B/ n! }8 u- u: q- x# y% H1 P p5 V
|a0-c0|+|a1-c1|+|a2-c2|+|a3-c3|+
2 U% R, D4 ]4 @: F% I
/ R' e; X: T- f: j* V
|b0-c0|+|b1-c1|+|b2-c2|+|b3-c3|
1 J; p( b/ l! I( b1 n
————————————————
# T+ c0 r: P. ]% q: N8 A7 K
版权声明：本文为CSDN博主「黑榆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: g9 ^9 G Z( q. C4 b7 A+ ]
原文链接：https://blog.csdn.net/georgesale/article/details/126690670
2 Y% x {* n+ K9 q! n2 I: k) L9 w
0 ?' {6 ?1 z6 U0 X# \! _
+ U+ }- S/ g" Y0 Z2 |" d# L/ j. m
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5