人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）

背景
8 c. V- m  S, ^1 F$ I初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

3 r  s# J" p+ s0 {( P6 i1 [8 d【神经网络分类算法原理详解】
. [8 G# k/ O8 ]
注意
站长提供的图片有点小问题，我们更正如下

+ p" U' z& l& |; K" r4 b- y

5 U1 G6 R( Q9 Q6 B+ r7 Q问题
根据上图所示，我们有已知
: H% T$ u- A0 M% R* y6 Z- q
#输入层
$ B' W# C  r: V( zi1=0.05
. X6 X1 V  i1 ?4 Y5 S* k; a" ti2=0.1
, L% K/ U  W( u
  Y( H% R$ @3 j% S) ]! x1 z#输出层
# h, `. m" D5 x5 I4 Ao1=0.01
' ]2 l$ E6 F3 jo2=0.99
这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的
8 W& E1 }, I2 e: a* z' ?! Z/ G6 w
神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1
/ R) H& |: H+ v$ P; p+ Y; o0 y
神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
! A* t- J% i* u& z
神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))
3 F) Q6 u  e3 f
同理

  {% W! C* W% X神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

- B4 T/ X) ~$ _' L$ q  |4 u' V3 `接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式
! U. C6 k, E! x
神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2
! b4 P( z( P, K; S: f- v( \
神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2

& S, O  F+ `' B2 O7 ]再经过非线性变换Sigmoid函数得到
+ M- y' A$ |( e; [
神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))

/ A, R1 J/ }1 F9 f# n  l神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
2 R9 X* G% d6 X" V; i8 h* T
损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2
4 M9 u) J) p9 X$ o# D
由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足

) R" l0 h* x9 j; V& _学习次数 (learning_time 简写为 lt)我们限定最大为10000次

! P/ C2 k% R# G学习率 (learning_rate 简写为 lr)我们设定为0.5
" _1 C2 B- {$ Y* o$ _
依次求解代求参数

w1~w8，以及b1,b2
* K7 V/ F4 }$ \2 \8 J) S
跟
. D0 K$ U$ j0 s3 s/ N. l$ k
损失值 (eo) 的偏导数

再更新该参数，更新公式为
7 L: q/ Z1 N# }5 ^' \, _$ R
- q1 `) |/ Y$ w  C参数_new=参数-学习率*偏导(eo,参数)
随后进入下一轮学习
( _: @3 e' ~) e7 X' G
终止条件（满足其中一个即可停止训练）

1.学习次数达到上限
2 D* w$ @1 v; c# e) k' f5 ^& x" b
2.损失值达到可容忍的范围

导数
3 I: g6 H4 a  q/ ^$ {( xf(x)=1/(1+e^(-x))的导数是
) y5 P+ y8 I8 l; P; ]4 L* c: {9 F- _% If'(x)=f(x)*(1-f(x))
' m; v, {! W: h) \# H源码
2 R$ e: x  }, T  z+ |import math
' n( z7 n. H( j
#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
: ^8 A- N5 @! J7 A9 F+ ]3 Y& Y: G# T#网址中图片有误，请看我博文上的图片
4 p3 T3 a8 i& n3 Y! u
' [% x9 }4 r" \/ C+ w1 }#输入层
i1=0.05
/ _/ `* ~7 h/ n( f6 y$ gi2=0.1
#权值参数
w1=0.15
" r  @: ?1 B: ?7 F: j) S6 @w2=0.2
1 _0 `( {4 Q6 k# C6 Iw3=0.25
w4=0.3
w5=0.4
+ V6 V8 ?# u3 M4 d" S+ iw6=0.45
. h- K: [4 Q. ?0 _. F  m; k  Aw7=0.5
w8=0.55
! ?9 I$ R% D* H  {% c/ K+ U9 J#输出层标记（即期望值）
( i0 ]1 G% h) t2 i7 w7 u7 `, eo1=0.01
+ ^$ J# ]9 k1 j4 o7 o; @o2=0.99
#偏置项参数
' w( Q( ~1 t# ]/ S9 c& b$ tb1=0.35
b2=0.6
+ O! m: o$ U" a' o& a9 M
, ], q; |! ~* f9 I! Z0 Z4 {! m#学习率
5 b* f* o9 t" y, c7 L6 o+ @! Alr=0.5
#学习周期
4 m- M1 K, L) I3 h9 elt=0
  J' S& Z0 l  m% v2 |7 Omax_lt=10000
/ H6 h: S3 V4 {" q- s( @1 ~$ n: E#允许误差
! r7 j& |9 }2 |4 g5 k- {eo_allow=1e-5

#线性转换
def linear(w_one,w_two,i_one,i_two,b):
    return w_one*i_one+w_two*i_two+b
#非线性转换
def none_linear(i):
! ^* u) w4 y, b/ y    return 1.0/(1+math.exp(-i))

7 E+ }- E* D2 u4 J9 ~6 Y- [0 fprint("训练开始")
#学习周期结束前一直学习
while lt<max_lt:
    lt+=1
8 o4 P* I! r% y3 I    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
; N4 g& x; d" j; N- J    hi2=linear(w3,w4,i1,i2,b1)
    #求h1和h2输出值
    ho1=none_linear(hi1)
* w: {4 I+ Q) ]3 k8 d$ t0 G, N    ho2=none_linear(hi2)
8 h; Y' ~+ W  Y1 p3 c    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
    oi2=linear(w7,w8,ho1,ho2,b2)
    #求o1和o2输出值
5 l1 e  r4 D  n. u2 Y    oo1=none_linear(oi1)
    oo2=none_linear(oi2)

    #求当前计算总误差
* ^1 L  s! V3 P    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
    print(f"第{lt}次训练，当前计算总误差={eo}")
& M4 Z1 r- q* R    #误差已经在允许范围，退出训练
9 u" \# s4 A+ N( h    if eo<eo_allow:
2 h% D' D$ B8 k. X, f$ U: v        print("误差已经在允许范围，训练结束\n")
        break
) I8 Q5 y3 l* Q" Q! {" V    #偏导
    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
    d_oo2_oi2=oo2*(1-oo2)
- k. k, E. [' N3 B    d_eo_oi1=d_eo_oo1*d_oo1_oi1
    d_eo_oi2=d_eo_oo2*d_oo2_oi2
    #求w5_new
. B. Y& l& h: w8 f7 ?    d_oi1_w5=ho1
    d_eo_w5=d_eo_oi1*d_oi1_w5
    w5_new=w5-lr*d_eo_w5
6 z8 h9 \7 U3 t4 J* Q( b% v5 Q    #求w6_new
' U) \6 ]2 m! ~7 `    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
, c' n# s- S' e6 T    w6_new=w6-lr*d_eo_w6
& P( V+ h5 K. T& v% ]    #求w7_new
8 K# l2 L4 f! |1 |  |    d_oi2_w7=ho1
+ I3 N/ h. e6 h    d_eo_w7=d_eo_oi2*d_oi2_w7
* `+ r( Y* W! L  J    w7_new=w7-lr*d_eo_w7
    #求w8_new
+ i( k! l  z" @  c- Z    d_oi2_w8=ho2
    d_eo_w8=d_eo_oi2*d_oi2_w8
    w8_new=w8-lr*d_eo_w8
, u& `( ~% B1 I    #求b2_new
    d_oi1_b2=1
    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
    b2_new=b2-lr*d_eo_b2
5 e3 n/ S4 r5 p& F: X$ V    d_oi1_ho1=w5
    d_oi1_ho2=w6
    d_oi2_ho1=w7
; ?4 P$ _: @7 S6 [5 l, t    d_oi2_ho2=w8
    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
    d_eo_hi1=d_eo_ho1*d_ho1_hi1
    d_eo_hi2=d_eo_ho2*d_ho2_hi2
    #求w1_new
) [  `, P  q/ N' m2 D1 U  h    d_hi1_w1=i1
    d_eo_w1=d_eo_hi1*d_hi1_w1
6 z- B$ ]4 S* V- {2 I, B/ k/ Z    w1_new=w1-lr*d_eo_w1
    #求w2_new
    d_hi1_w2=i2
    d_eo_w2=d_eo_hi1*d_hi1_w2
    w2_new=w2-lr*d_eo_w2
    #求w3_new
    d_hi2_w3=i1
* l. V: F* X, ^# ]( ]! E    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
    #求w4_new
    d_hi2_w4=i2
    d_eo_w4=d_eo_hi2*d_hi2_w4
. i9 h6 ~! a% M9 t5 W, t    w4_new=w4-lr*d_eo_w4
    #求b1_new
+ T1 @1 Y  U+ \% n    d_hi1_b1=1
& x$ Z9 g( L3 _    d_hi2_b1=1
. q  L- A- t/ T$ k    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
    b1_new=b1-lr*d_eo_b1
3 x! a0 u6 U4 F/ O2 B    #更新反向传播
: N4 j; z  |/ V' z    w1=w1_new
1 ]2 i: E0 j/ }  [5 B    w2=w2_new
' T% u+ l- N  w, X# R    w3=w3_new
' @, h) S, U1 R    w4=w4_new
# c. ~' ~: J3 o    b1=b1_new
    w5=w5_new
    w6=w6_new
    w7=w7_new
: \( q4 E2 s. w( h, h  ?    w8=w8_new
    b2=b2_new
6 x5 S% B  Y  d8 F$ Qprint(f"当前计算总误差={eo}")
print(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
print(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
- ~6 }  a. Q& ~6 r% I( s  o' A7 uprint(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

结果
* {1 i) j! U+ k0 R0 I" H/ Y

: }, U7 v4 R: Q% p' w  K5 `结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。
: f8 ]3 \6 c" m3 h2 `
9 l; o% ^! @: p: M: v: `补充
程序中d_{a}_{b}格式的变量表示a对b偏导
1 m7 {. u& a+ t9 z————————————————
版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
( n7 Y* F/ D, Y* Z" V原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954
, b# c# M$ h2 R1 l* u$ r7 o2 e1 e

1 W/ B6 t4 ?+ b, ^0 U" q* l