人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
6 l6 O' r  l( t' I
背景
/ _4 T; D# p6 p# K初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下
: u' u# _9 P/ u( i6 {+ {; O; c$ x
* c! }/ R: O' T【神经网络分类算法原理详解】
. T: v! f3 X2 m! E
) }9 f6 O' a. z+ ?  u( l* j1 P9 S注意
- ^3 ^. G) l9 Z4 }站长提供的图片有点小问题，我们更正如下


9 M2 `5 ]: R- k: Z+ _/ r
问题
3 ]( y1 Y. O$ Q根据上图所示，我们有已知
9 x# K. i$ u6 ?; D. P. \1 Z! E
; k  p* w; D! \#输入层
" _3 v! i6 C' c" v% {5 a5 ai1=0.05
i2=0.1

#输出层
% A: J' M7 ]' R: F/ ]o1=0.01
; Q! d: P8 ?6 S  s; {: [o2=0.99
/ v( h7 c2 k/ H/ ^  W) ~这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的
' n% j/ U/ P. y- Y$ H1 w; X
神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

神经元h2的输入  (hi2)=w3*i1+w4*i2+b1

神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

6 O( X7 A, U, ^5 [; f* T神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))
2 ]7 |, X7 y% g& ?
同理

神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式
, ?7 M1 X3 p1 }, r/ W, M
神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2
" b' u3 o2 y5 g3 S; R
神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2
2 ]9 j3 f5 l, @& s1 t$ w
# @% @9 W- b+ _5 o% B再经过非线性变换Sigmoid函数得到
; Q( \( q+ M" w/ r
% F0 ]2 g1 u) m( ^5 a) K1 a  E神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))
  i* b& A: e$ e# l- v
神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

& }" s+ E2 H" I: M. O我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
2 b! k, ~# e" q  ]0 N
; I& C0 \- T$ J1 o: z) |, }损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2
$ V6 q8 b; T; i# O' }8 Q' E& a9 l
6 _# e3 ], [# _$ X( D, O由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足

学习次数 (learning_time 简写为 lt)我们限定最大为10000次
$ J1 a' b0 ]) ~7 {
学习率 (learning_rate 简写为 lr)我们设定为0.5
" y  ], C4 q( j7 `0 e* ~+ m
7 S  [" j# V# @2 z7 ]依次求解代求参数
2 ~: d1 ]" f9 R3 R: Q2 F0 ^2 {0 v
w1~w8，以及b1,b2

跟
) |* M# M! Y, b7 h0 Z5 @
损失值 (eo) 的偏导数

* G4 _' P0 O0 Z1 B8 ?再更新该参数，更新公式为

参数_new=参数-学习率*偏导(eo,参数)
5 X1 N1 u1 [2 z& C2 L4 m7 w随后进入下一轮学习
2 ^1 s* m4 D4 z
终止条件（满足其中一个即可停止训练）
% B' O) Y: R: V6 n) @
; F6 M& Z  b; F' v1 P; ^: P' ?6 r1.学习次数达到上限

2.损失值达到可容忍的范围

导数
f(x)=1/(1+e^(-x))的导数是
f'(x)=f(x)*(1-f(x))
源码
; N4 I7 x' i; ^! |2 n& _import math

( e' \5 U1 C; {1 H% e$ z( @#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
" {. W) M7 U$ G& o* f( B4 R#网址中图片有误，请看我博文上的图片
/ l! H& W( s) q6 F  p& r# j
. ?! N- t2 C0 m' m: `- g0 U#输入层
i1=0.05
i2=0.1
3 p$ f1 c4 X& n$ o#权值参数
w1=0.15
w2=0.2
' N( e* o: q- V" `$ Pw3=0.25
- b6 H" ~% @, K% w8 l2 E6 vw4=0.3
# G% W  D' o. n' k2 l' a' Sw5=0.4
w6=0.45
w7=0.5
; B( I( H, G7 n% K. Q2 Kw8=0.55
#输出层标记（即期望值）
! L# a1 C- i. s8 h$ W! P3 io1=0.01
o2=0.99
) B' B# @6 E( l2 n0 A0 e; b: f4 m#偏置项参数
3 u8 n* z5 z0 pb1=0.35
- s, E0 v+ ~- V. m4 [2 Lb2=0.6

) n( p6 E- s' f1 ?0 t" _' R4 j#学习率
  @# J3 W. ^9 w% W4 |! {lr=0.5
7 Y: l5 c1 W; u, L#学习周期
; x) H8 @) S" Q# e  K4 x8 rlt=0
max_lt=10000
3 C+ ]) Y. ^( g0 \+ z2 b#允许误差
eo_allow=1e-5
  K3 _+ P3 t. I6 e$ Z
#线性转换
def linear(w_one,w_two,i_one,i_two,b):
5 c! l# D, i- Y- ?8 o+ r7 S    return w_one*i_one+w_two*i_two+b
; c5 n- ]9 N7 x' L3 F5 L: x#非线性转换
def none_linear(i):
    return 1.0/(1+math.exp(-i))
7 w1 C1 B7 a2 y- g- w/ B/ [( @- A
print("训练开始")
$ {; ], w# d2 |7 @) Y, f#学习周期结束前一直学习
while lt<max_lt:
    lt+=1
    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
    hi2=linear(w3,w4,i1,i2,b1)
/ }. q" D6 p# ^, s% \# ^    #求h1和h2输出值
    ho1=none_linear(hi1)
( t; x9 _# K, j, B    ho2=none_linear(hi2)
4 [- c4 Y0 \( j, Y    #求o1和o2输入值
4 c: R/ i* _2 y0 W) `4 z    oi1=linear(w5,w6,ho1,ho2,b2)
  g! z2 C1 j. G! u8 Q    oi2=linear(w7,w8,ho1,ho2,b2)
    #求o1和o2输出值
    oo1=none_linear(oi1)
    oo2=none_linear(oi2)

' [" k. J( ?3 q% v( }3 h    #求当前计算总误差
, U7 B" \% A$ a: a) g/ ~1 |; L    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
( l# \2 b" L1 M. X/ @& |7 G    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
- O0 ^# \! N$ D1 c5 f: k/ \    if eo<eo_allow:
        print("误差已经在允许范围，训练结束\n")
        break
    #偏导
    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
    d_oo2_oi2=oo2*(1-oo2)
    d_eo_oi1=d_eo_oo1*d_oo1_oi1
/ N% ~( l$ D9 t2 ^/ i    d_eo_oi2=d_eo_oo2*d_oo2_oi2
; g8 O. y+ w2 [0 A$ b  x    #求w5_new
% K2 Y  j3 |7 W8 v, j8 d    d_oi1_w5=ho1
. A, i/ b3 G$ ]0 I2 \    d_eo_w5=d_eo_oi1*d_oi1_w5
7 o! A8 T5 Z( r' q% C; w    w5_new=w5-lr*d_eo_w5
    #求w6_new
    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
9 H; p; s, L; h! u- N/ t    w6_new=w6-lr*d_eo_w6
    #求w7_new
3 F' E1 e1 x" X% J, i( K" u- L5 H    d_oi2_w7=ho1
3 q4 N" a5 Q9 W# b  K- {% f% j    d_eo_w7=d_eo_oi2*d_oi2_w7
    w7_new=w7-lr*d_eo_w7
    #求w8_new
    d_oi2_w8=ho2
    d_eo_w8=d_eo_oi2*d_oi2_w8
    w8_new=w8-lr*d_eo_w8
6 D; ]1 R! B9 A+ S1 \8 Q5 H: k    #求b2_new
+ Q: x: V) j4 R# G    d_oi1_b2=1
& i. `- l2 a1 d& l" b2 ], G  x    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
) H+ u# Y( P% ^# Y$ A6 ^& h/ k    b2_new=b2-lr*d_eo_b2
    d_oi1_ho1=w5
    d_oi1_ho2=w6
    d_oi2_ho1=w7
    d_oi2_ho2=w8
4 M  [2 q/ W" {- h. H1 h, W2 i2 g    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
+ k+ C0 S) F' r; S7 W0 S" [    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
; a0 U6 F; G2 _& E' w  l' |    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
    d_eo_hi1=d_eo_ho1*d_ho1_hi1
- t7 r% n" W0 |2 k" I    d_eo_hi2=d_eo_ho2*d_ho2_hi2
    #求w1_new
2 N% h( {4 n9 k% d8 O    d_hi1_w1=i1
    d_eo_w1=d_eo_hi1*d_hi1_w1
' K9 i4 p' \- A4 L/ e# M4 j. o    w1_new=w1-lr*d_eo_w1
    #求w2_new
/ I3 n4 [0 {9 t. l, A    d_hi1_w2=i2
    d_eo_w2=d_eo_hi1*d_hi1_w2
    w2_new=w2-lr*d_eo_w2
; N$ {" D4 h' F% r! a1 U: a    #求w3_new
    d_hi2_w3=i1
% T$ E1 d6 C8 \( E2 ?" y1 N; d    d_eo_w3=d_eo_hi2*d_hi2_w3
! u* p, ?" W4 g. Q    w3_new=w3-lr*d_eo_w3
    #求w4_new
  x: A2 t6 r8 _    d_hi2_w4=i2
    d_eo_w4=d_eo_hi2*d_hi2_w4
    w4_new=w4-lr*d_eo_w4
- j$ W/ k  t& P! g& Q9 O  d    #求b1_new
    d_hi1_b1=1
1 v, U; Q5 I$ B% J. }9 {    d_hi2_b1=1
- w; ^- R- X6 v6 [" r    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
7 D; E3 M8 x% v1 Z" a9 `5 V% R    b1_new=b1-lr*d_eo_b1
    #更新反向传播
    w1=w1_new
3 n8 i6 g) O  W- `" g  E0 M8 Z    w2=w2_new
' x) k6 Q5 _; y0 u" p    w3=w3_new
6 X  i% R' Y" j* h" I    w4=w4_new
    b1=b1_new
    w5=w5_new
5 ~6 o/ d1 }2 m+ s+ z    w6=w6_new
0 u+ `% c2 \' X6 b( N& M    w7=w7_new
$ D6 A2 O8 E% c5 W    w8=w8_new
3 X, c" A% B- D9 }* I! N. N    b2=b2_new
) ?* g7 [  N, ?1 Y0 q) rprint(f"当前计算总误差={eo}")
# A+ l1 `9 z  {/ l+ pprint(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
; ]9 B8 |* _* [print(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
print(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

结果
1 h2 q/ j! ?: e# {, k; T) w
4 `& X- D. N, Z8 P
结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。

' y# r# h) k  }. g补充
程序中d_{a}_{b}格式的变量表示a对b偏导
————————————————
7 {' o% L' u) K+ H版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
4 y. w  g5 o) ?) X0 [& j原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954
! ^* E+ U9 i1 F# Z4 |& p
9 X& r  \8 N2 Q" R! M  t) V/ a- E7 O- z
3 z5 d/ d. R( [) Q+ K# @