三分类网络的物理意义是什么?

杨利霞

三分类网络的物理意义是什么?
% M  r" b/ _6 @* k# A
! W" Z3 K6 q7 o# q用分类实现衰变
1 x8 W' ]% }* ?+ O) k! {' ?专栏收录该内容
. U" v$ P8 \7 c52 篇文章0 订阅
; k, `  F. g  f' P6 ]: h8 C5 `$ V订阅专栏
1 @* x' a5 f/ w! u6 |(A，B)---m*n*k---(1,0)(0,1)

对于一个二分类网络可以将被分类的A和B分别理解为粒子和环境，因为粒子处于环境中。于是A和B之间的距离可以理解为0。因为t=s/v，则即便A和B之间的相互作用的速度小于光速，A和B之间仍然可以实现瞬时作用，并不违反理论。

! r) F, C* E/ H9 T+ r, M( A, B, C )---m*n*k---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )
* k+ e; P$ B4 s1 r) B! J1 v
对于一个三分类网络要完成3次形态的变换。A⇋B，A⇋C，B⇋C，每一次形态变换就是一次二分类，因此对于一个三分类网络可以理解为由3个二分类网络组成
; f" X8 @1 s* {& ~5 z7 j; l" i5 Q
(A，B)---m*n*k---(1,0)(0,1)

(A，C)---m*n*k---(1,0)(0,1)

% ^; Z9 B# P- c% v(B，C)---m*n*k---(1,0)(0,1)
- _% |; W2 |6 ^2 W% z
这就意味着存在3对瞬时作用，也就表明这3个粒子彼此之间的距离都是0.随着时间的推移网络的收敛误差会不断减小，而网络的分类准确率会不断变大。这个过程意味着A被错误的分成B和C的成分少了，同样B被错误的分成A和C，C被错误的分成A和B的成分也少了。
6 W8 y! `  n% u, Q% U4 H8 t) e- r
所以这个三分网络可以被解释为，3个距离为0的粒子不断的相互作用，随着时间的演化，最终变得越来越像自己。
! ?# G7 K/ W* r8 ]7 W
* g2 u) f8 m6 j1 G& _7 \5 l  V而前面的实验表明相同收敛误差下，迭代次数取决于等位点差的绝对值的和，这次就继续验证这一猜测。

( W0 d9 z7 X* M( g( e1 H用的训练集是mnist的0，1，2，3，4，的第一张图片。用间隔取点的办法化成13*13.
% M5 r# r4 S* c  D! v" a, T, P
+ y. @/ u! N: \( 0, 1, 2 )---169*30*3---( 1, 0, 0 )( 0, 1, 0 )( 0, 0, 1 )这个网络简记为0*1*2.就只有3张图片不断循环往复，直到收敛。共进行了10组得到数据

1*3*4

2*3*4
) y( a8 ~* b  D3 U
# I+ c  }' ]1 f/ z0 |( p0*3*4

* a0 j3 K  F1 t4 U- ]0*1*4
, _* e; V' Q* `
6 z" R9 ~+ f8 {0*1*3

6 I/ i$ ^0 Q; q9 I1*2*4
1 L* x; s$ [2 l6 C0 C" v% N& M  @! b
/ {: ]0 _  G2 u7 `) R) s1*2*3
; n% b$ I& r1 A1 M( b& ~
7 T' E+ u" i8 A& o0*1*2

. U$ C1 j& P& Z) w( G0 |0*2*3
: ^& q1 c) y- o* Y- Y
% h2 n. L; F5 j0*2*4

# }8 G9 v2 t* Z" rδ

- Q. _) I( }& E迭代次数n
4 W6 \) Q) L* _* N
. c  [* W5 U1 j3 _- ~: W迭代次数n

迭代次数n
4 ]  f$ `& g! C% @0 X* d8 @
迭代次数n
1 F) f5 l* s( S. o
迭代次数n
* B2 N6 a  s* z* l) z
迭代次数n
$ g+ @* N$ n/ t, j. i$ J/ u; x2 w; f! D9 t
迭代次数n

迭代次数n

迭代次数n

迭代次数n
- w3 \* }4 j3 I9 p4 V: Y) {: a; O
0.01

1763.1809

1626.5729

1672.4523

1635.9196
6 A6 M/ _. D$ G! S2 U' @5 |
1596.7035

1620.407

1563.8945
4 N' g' Q" O$ O" `6 q8 p
1444.2915

1410.0302

1465.4171
& J$ E' k5 c2 j# x! R
' [* I  D5 I& }% R4 J0.001
% R& S% L% A; r- D, k  J+ y  H, X
13065.196

* o7 p: ]: D" K4 @5 y7 P12674.945

12747.729

12386.216

12349.02

12282.201

12270.035
0 }9 L: N; M" N, l1 z# T/ G6 k
/ l; v" h" n+ E  C& I6 j11338.477

10985.201
, [, J7 E- ?$ l; o* M" I
11015.503
7 B7 A, S8 O2 i8 g% w8 v, G- @) p
9.00E-04

14352.452

* Z. _5 t  f, V3 f* L14004.633
0 T9 f, m( o: }- a0 Y) ]* C
14062.829
; f& l  u5 _6 ]- ]3 k5 K5 U
13629.467
) h# u$ t+ I! ?+ V8 M
" e  e+ V, J- I6 m; f13613.362
: P5 m4 u3 V9 I% u
13609.563
7 y1 J( @! L: `' {( E" f
, E% i- l+ @- g, S- {* X13530.322
# j3 ~  F; \- `
12458.171
. O% d5 |% c) \" h- g
- r# o9 q5 o) m6 p# Z. E12176.362

12225.96
: Z1 n1 c6 @/ O
8.00E-04

16141.206
+ A3 x$ _' S( U2 _" W  f
  e- m- E/ N3 s  N+ q. c& H5 M5 W15611.101
5 t* z+ Y& U: T  y- u* |) G
15749.91
7 s" X. R4 p- i. J, V
' ~5 `2 n8 I; G) |  G# ]15264.98
( M! P3 [3 ?3 u3 f+ U2 \- M
, u1 m! \8 J% W7 y0 }15228.447

2 y- W3 \1 q6 W1 s6 i15207.628
3 D3 F, b7 _) n5 ?7 G4 j8 Y
15053.714

14044.729
, h4 v6 A! H" W/ X  ^, l/ h
13530.397

) i+ x( [) G: M13654.678
0 [3 H7 a/ y0 J5 q) d  D
# A  N# C! \4 O8 K& e# y2 F2 {7.00E-04
4 [8 V" Q. I5 _1 }: d
18194.397

  I! R% E, [# Y3 ]17760.638
8 p* ?; c5 X6 s. _+ x% _
17743.578

7 D& V: j  L1 M  v2 k6 J) g: H" H) \0 ~17333.377
. `+ r, D3 f$ |5 T
17293.874

17204.638

17058.809
' V5 ]1 i: f1 r
7 }0 E  t" |. s4 m2 O1 z9 K15946.101

15491.266
) l& S# U- D" t+ j
3 e) T) q- H$ ^. Y8 f: ]# ]15399.538

& s- h4 m, D% T$ M( S9 J3 g3 C  ^- Ms
% s+ f8 f1 }  C0 P) k' {% g8 W; W
130
2 U8 C6 z1 m  ?0 U
) N  E. `8 _) e$ E. U7 T" n; Y+ v218

198

206

6 w% p2 d( |8 n' ]4 G9 k$ a204

5 Q. w& a* S0 {  ^218

220

204
" v$ P6 F& O) y. m' N+ Q
220
6 u1 `4 n8 m9 d" Z
216

7 M; f) K8 Z, a! `& i0 R将收敛误差为7e-4的迭代次数画成图
3 E6 R" T: a  L. t1 e  d$ C
  f9 t, T" l% \8 l

再将移位距离S的曲线画成图
5 Z/ U6 ^& X" e; a$ O) J

' N) V6 X3 H1 I, [" h- ?
在这组数据中s和n之间的反比关系依然存在。

( m" A& N2 z  m8 J8 l/ B移位距离假设

(A，B)---m*n*k---(1,0)(0,1)

9 G: |) R/ m! E$ U

8 f% \! }9 Q7 @: n用神经网络分类A和B，把参与分类的A和B中的数字看作是组成A和B的粒子，分类的过程就是让A和B中的粒子互相交换位置，寻找最短移位路径的过程。而熵H与最短移位距离S成正比，迭代次数n与S成反比。
& O3 L0 T: b# `" e$ U% N6 h  e
移位规则汇总

6 h. [2 D3 Z3 U2 m移位距离就是等位点数值差的绝对值的和S=Σ|a-b|，如果训练集有多张图片取平均值，如果是多分类问题则移位距离为所有两两组合移位距离的和。

如对一组3*3的矩阵
1 F& x* |( l! A
$ H7 E3 I) `) t8 y7 t+ ?. e# U% e

8 V2 ?  l2 l+ Q) b. O" Y; |6 l6 w1 US=s0+s1+，…，+s8=|a0-b0|+|a1-b1|+,…,+|a8-b8|

: T6 k" j- C9 A; s/ D; \. ^如果是3分类问题，就应该实现3个形态之间的两两分类，也就是要完成3对等位点之间的差。
  o  I4 d( ~, `
! A) E) l5 C+ t9 w! T' \
+ L/ J3 J+ O2 R. r
因此移位距离

S=Sab+Sac+Sbc=
# A2 ~" R" h  O+ J2 W7 Q
|a0-b0|+|a1-b1|+|a2-b2|+|a3-b3|+
( c9 ~0 E8 W3 j7 ~
0 u4 Z, {3 K  e# O|a0-c0|+|a1-c1|+|a2-c2|+|a3-c3|+
& Q( h& M% h+ z, _
|b0-c0|+|b1-c1|+|b2-c2|+|b3-c3|
————————————————
# S! H! @# {9 T" Q& q: j  D版权声明：本文为CSDN博主「黑榆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
1 c) P" ^3 S2 U) Q* m5 E) b原文链接：https://blog.csdn.net/georgesale/article/details/126690670

2 m) l) l$ D  Q- E/ ~& U; q, T+ y
) M6 A; i2 e2 Y' K9 \, v