三分类网络的物理意义是什么? ' n+ u3 O, H$ I) k J$ p4 w( d9 H# C/ H: W" K # y1 `( W! [* K% j/ }+ `(A,B)---m*n*k---(1,0)(0,1)5 _2 t C( {1 o* H
/ ]7 x& H& {. N4 _
对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境,因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v,则即便A和B之间的相互作用的速度小于光速,A和B之间仍然可以实现瞬时作用,并不违反理论。 6 \$ a& F5 N; ?3 H. `6 i' @ `2 }& n5 u$ D" ?; `( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )5 l: ?8 \* T2 Q9 d. n. I9 G
0 i4 K# Q y; Z1 R7 u# \
对于一个三分类网络要完成3次形态的变换。A⇋B,A⇋C,B⇋C,每一次形态变换就是一次二分类,因此对于一个三分类网络可以理解为由3个二分类网络组成& p- P4 b2 O1 h# E5 y6 ]; F
/ m+ F$ j# I# W. y(A,B)---m*n*k---(1,0)(0,1)$ N/ S$ O |$ Y0 K' j1 p8 w* l
$ W5 r- \- x: {, ]* w- E! [(A,C)---m*n*k---(1,0)(0,1) ! Y9 B' k% y0 }) U: o9 O " h6 E2 s" z& v( b L(B,C)---m*n*k---(1,0)(0,1); b5 S `- n1 f6 b" k* m
- E. w2 Q! c; }, e$ h 这就意味着存在3对瞬时作用,也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小,而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了,同样B被错误的分成A和C,C被错误的分成A和B的成分也少了。. e P- B2 A' f5 B' l
4 q: w( Q; N- V- p
所以这个三分网络可以被解释为,3个距离为0的粒子不断的相互作用,随着时间的演化,最终变得越来越像自己。 & x- l( N( E# y5 h2 I5 q( W; ]1 V; F3 y4 b8 B) o- ]
而前面的实验表明相同收敛误差下,迭代次数取决于等位点差的绝对值的和,这次就继续验证这一猜测。 9 a; x5 d+ K I( B L4 F6 {& \9 G x! t+ |: v. m
用的训练集是mnist的0,1,2,3,4,的第一张图片。用间隔取点的办法化成13*13.: O1 D c: r6 X0 D8 ~( I! w1 O
6 S" O" b6 T; c# U( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复,直到收敛。共进行了10组得到数据& Y+ n: i4 R% Y B# ]# m& t5 M& a
) O3 u8 J' E2 ~" S: B
1*3*4! r) S' g& L2 v2 ~3 x) k
4 z) r; h G4 ?1 p
2*3*4 ; @, n5 ]7 f0 c1 C* p ! p3 D& W" P1 f- Q2 m4 h0*3*4* X/ e% A- _1 k, |2 T! h
. w1 \( h/ ], j8 X
0*1*4 . p6 U- X' B2 r5 E& A, \' @( t. R$ y. G- U4 h+ ]3 q& ]
0*1*3; s% @% w: X4 \( J w
7 i/ j$ y# P$ H7 [- n1*2*4! {9 k% p5 s+ p' L
. o9 [7 a, O" X7 z1*2*3 * P+ ]' D4 W! k: P; l1 z9 c! x# r! G. E7 K: a/ U* B$ z
0*1*2 9 }& v9 T& h; O" g8 l# }( w0 [9 N) E# t- j' N' i/ r- l$ G
0*2*3 % J) A- F$ \+ s& ?! [( v& F& A6 S2 V2 L0 k- q+ _; h( E, c# L9 l
0*2*49 i8 q# l" F& y
2 t4 \- |0 w4 s$ x
δ8 B' z" v3 Y* {5 l* K
1 Q* r5 y' q% t3 w+ W: O, G迭代次数n- b/ Q) O4 G% k9 g# `
7 k$ W: w/ e! d3 }, |; R迭代次数n, K+ C, Q% W& Z3 ?: Q9 U/ S
- t8 M, i C5 V
迭代次数n 7 N& j- d& w! \ / y/ ]; G/ I% _+ G/ Y% e$ t m迭代次数n/ E3 }7 } N' r$ c
( K# r8 b/ F+ S4 t
迭代次数n * R0 ]) q1 z" i7 X8 Z% k/ X1 w) t1 K' P! [
迭代次数n * ?1 U& t5 v9 @" B/ K 7 u7 a. R: {: w5 q4 c% K- {8 F迭代次数n 0 j& c. z5 L& ]* [' q) ^2 o$ u6 q9 T; o6 c" e$ |" D9 i4 m; @
迭代次数n 5 f( O8 W8 T$ I5 F / j" N- l1 D9 P6 V迭代次数n1 B* M" F# @2 h. D& L1 ?: `( h
9 v0 B5 R* R! C- E13629.467, z" R I" V" \9 d
9 |3 \" t- w5 f8 Y4 c8 k# J, c3 ?" z
13613.362 ( _9 k X; V7 t) t" {6 U1 _: Y; O; \' p$ B [* L
13609.563 $ J$ R. v) V0 D. a' G/ ?+ t' h " t, u# X$ ~& u7 _5 ^& a k" b) Y13530.322" n2 e1 I) q1 R4 d# ]+ ^9 }
& N" Z5 J: O1 p7 i) }
12458.1712 M/ b+ ]8 T- Y' j( X- S3 v
% _0 G- P5 t4 m' O2 N12176.362 1 T- h: L+ S# k9 s, }9 C9 e$ J5 m# _6 f' d5 f7 y3 H9 w5 M4 e4 B
12225.96, J( U7 v: Z) e1 i) f
: V4 t& b o$ U1 N" `0 b
8.00E-04( O' |9 E+ B0 e+ S) g
: C' S: }4 H( x
16141.206 5 S0 N0 \9 m2 ^* }) J8 c, \+ p+ l1 O: A2 U% q, l
15611.101 ( E# r5 ~# S% E9 W. _4 H( M1 U# a: ~ w) c9 ?- \. M: {( y! Z
15749.91 2 _& k2 a* }+ o& {6 N+ f9 l* r3 u+ `1 z Y
15264.98 ) N- ]. A+ D' J8 ^0 t. l# l $ b3 ?( a( H6 f0 ]9 w, z; P15228.447 & `' v# {* g6 [7 s- r 3 b+ c. w) z& \1 x- F15207.628 ) P) V! k, s P2 p% N' E6 c : T, h, q! j9 t2 D7 d: z15053.714 ( a/ u' h& f1 o/ D3 W C0 } " s' U% c+ {, g3 e g- B+ B14044.729 5 t. d d9 g: q! f9 _+ Y0 K, M5 A3 U J
13530.397 / y& X) l4 s1 b6 z1 Q3 g2 s" ^3 H9 P
13654.6785 x) N' v- A! n5 E
! I t. o5 }( M: ^- n
7.00E-04( k' ~$ ~; j7 U' O4 c
8 ] F6 \2 W1 h Z8 x
18194.397 - b) s2 P5 l0 J% ^6 R4 u% a0 J, t4 H& I9 u9 G1 c
17760.6381 J, M7 t7 x6 k% T- {. t4 A
& [4 y7 C. j Y8 ]% i& r17743.578 7 q4 H+ C/ ^* M; U7 k% R! I" e( f& p0 w; {4 o
17333.377 # t/ `2 n) M% | $ r& |% _8 G6 a# `17293.8749 R& t; k. }) M' j/ C. O8 j
/ i/ S: A V4 b$ \+ }. s" J17204.638 5 r* o' ` O7 ]' c- _4 |9 o2 x2 E* E
17058.809 0 O, L' z7 c: K; X; k _' Q6 S7 P! c# S# @
15946.1015 k2 ~3 Q# E0 z* }+ g G; ?6 y6 j
) _. d( L6 ~/ F- b% F* F `8 [
15491.266 ) _4 j# i- z% `5 z3 J3 ^: E2 D . d& L F. {$ t' ^# b15399.538/ l4 x% E& d" {+ n0 M+ d/ ]# z& ?/ n. Q
9 R$ P* e6 J3 ss . T3 N+ X6 s. g; ? . X3 Y" e! d' K+ \6 B: w130 0 m* S9 O, X: g2 \$ h7 V " z e- a4 g' u# N2184 x2 t# B( O. ?: `
6 H2 Z6 r1 G: a198* M* {7 B9 l7 m) I
1 {: D. u. h/ l9 b# N
2061 K- C) f6 K* J/ b" B7 ]
. E0 a2 m9 N7 Z$ B) S, q
204 G$ _; w1 c" }/ O' t: C; @
. [8 X- N. ~+ n6 q% K) {218 / y, _! j: _. W- e $ |- o' f( S7 W. M220 2 R# L7 ]+ O) V* m ; j$ M# V) W! [0 O# W5 T204 - m% c9 q7 H3 G& T. E4 k0 |8 L& ~1 ^' M( m ) @' l D9 C- K2 x: H; M220 , x$ s+ T9 v9 Z* e U$ }% V % f) V/ u7 ` ]2 _1 g# r/ s2 C$ b216 % E6 }+ ~& W# k# a7 F6 O, B - K2 u$ B: K; A4 @$ B将收敛误差为7e-4的迭代次数画成图 $ g& V. d4 }9 B+ J4 E / F* }2 }/ I9 g3 P" h7 y/ G7 n' H3 L1 s; c' E: N' N) G, y9 o8 x
. } j$ W% J' |7 Y& }
再将移位距离S的曲线画成图 ; C5 C. q) L" J% o/ [5 c 5 f2 c% z5 P/ {$ P9 D8 k 3 z% B# B' k7 [* e" I8 \3 V. B7 y& l8 S
在这组数据中s和n之间的反比关系依然存在。% l$ X) L/ Z/ o, e% Q: `! |
8 T: X" s) q8 r, w- R$ O移位距离假设 . p8 U) { `: L9 M% v8 @3 R i: w& i& m( a
(A,B)---m*n*k---(1,0)(0,1) ( q4 b x s% M& y& O3 W4 m+ r) Y( I" k5 s5 m* u: M# N
5 A# Y0 j9 i9 g5 V : R; }% M. R( K) F用神经网络分类A和B,把参与分类的A和B中的数字看作是组成A和B的粒子,分类的过程就是让A和B中的粒子互相交换位置,寻找最短移位路径的过程。而熵H与最短移位距离S成正比,迭代次数n与S成反比。3 @ u% N' R5 }% c7 `
' @2 n& N. e4 H
移位规则汇总) X a( t. Y4 V