人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）

背景
9 `: f( b0 m0 s& m初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

( ?% I. x0 ]3 ^4 {" m" o5 ~【神经网络分类算法原理详解】

注意
站长提供的图片有点小问题，我们更正如下


" ]! W, {2 V- r' O) {8 @
问题
. k# N$ ~+ h2 S7 w1 E根据上图所示，我们有已知
+ m* P3 S# `" L1 l+ U* _/ X
8 a, H( M" j! V5 Y#输入层
i1=0.05
% S) L+ y- d3 K( `- |i2=0.1
+ F" w5 B) ~( N9 z( Y' Q4 x* C: j
) o9 X: v9 U$ K$ Q#输出层
( d7 @3 O& C, e( yo1=0.01
o2=0.99
这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的

神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1
! F3 X+ I1 {% \8 }* C
神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
; m8 `1 r* I7 z. E' ^
) \) {( O& O9 H- q7 C. g神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))

) k. `; t/ W1 e- {1 _同理

) A5 U4 {1 _% g- Y& }9 g4 W) I神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))
, \8 K+ R& a* h( h
& B0 [, `1 W9 Y1 V接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式

" Z9 r4 C; W4 O+ |0 R神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2

神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2

7 [  q8 \3 @* W* G再经过非线性变换Sigmoid函数得到

神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))

神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

! N. e0 ?9 Y  T% Y/ [我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
" j! t9 @! ^2 Q3 y
损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

* n5 d) G3 X1 C7 }3 B) H由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足

学习次数 (learning_time 简写为 lt)我们限定最大为10000次
3 y: y( [! n! Z' p6 h3 z8 r5 @5 z
学习率 (learning_rate 简写为 lr)我们设定为0.5
; V; ~" \- a: h6 ~. J/ G% M
依次求解代求参数

w1~w8，以及b1,b2

跟
8 e) h9 h/ x6 r! j& b& w+ [) B8 B
损失值 (eo) 的偏导数
; d5 }( n. r+ m, ~3 q( n) _4 l  q% c
/ j0 b  p* i8 S! E' ?# g再更新该参数，更新公式为

参数_new=参数-学习率*偏导(eo,参数)
( G- _0 \( R( D/ y: V* I* Q随后进入下一轮学习

终止条件（满足其中一个即可停止训练）
- u2 e7 {& s' |3 O: P3 m
1.学习次数达到上限
& |' o6 S% @/ y3 ^3 i, Q
) c+ V$ _: l! k( e' ~3 n# N2.损失值达到可容忍的范围

6 _9 n  X3 S' p导数
f(x)=1/(1+e^(-x))的导数是
/ d' f7 i0 b$ e7 v7 ~f'(x)=f(x)*(1-f(x))
源码
import math
  u" p' z" q$ w- A/ a
- E7 r6 w2 F. I( n( f4 x#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
3 T0 X9 }0 ]: B( b7 S  t) [#网址中图片有误，请看我博文上的图片

#输入层
$ l- n1 S& S+ R4 C% |0 Ri1=0.05
i2=0.1
: z1 I" i# _  u- m. W#权值参数
w1=0.15
( H* a% ^) R2 I/ \( A7 c5 H: Ww2=0.2
w3=0.25
w4=0.3
: K# `7 Q& s& [6 U1 i4 ?2 bw5=0.4
w6=0.45
w7=0.5
/ M9 j7 }) m. Y! Uw8=0.55
#输出层标记（即期望值）
: v5 x# n5 D/ Xo1=0.01
o2=0.99
#偏置项参数
b1=0.35
$ P/ u. f0 Q$ N: ob2=0.6
& f* m6 Y, @+ `+ _" z' M- l
#学习率
lr=0.5
( k- `- o/ s+ ]# c3 S#学习周期
  A$ S4 }9 ?, K5 o) Alt=0
max_lt=10000
/ ^) B. t( l4 u( y$ T#允许误差
eo_allow=1e-5
, i5 L; g) J* ~1 J) \& D7 o) W' q
#线性转换
5 \# }0 E" t/ [7 E0 `1 g& tdef linear(w_one,w_two,i_one,i_two,b):
    return w_one*i_one+w_two*i_two+b
#非线性转换
8 c4 @% `% Z/ Udef none_linear(i):
    return 1.0/(1+math.exp(-i))
0 a( [& ^: p' ]! T8 T: I  o% a6 D5 k( L
; _3 r- ?' H1 [8 Y& }6 ~8 ]4 ?& W* Tprint("训练开始")
#学习周期结束前一直学习
! v. z2 X+ E0 V6 o& fwhile lt<max_lt:
    lt+=1
    #求h1和h2输入值
6 f; b0 O& a+ B2 }1 q" l    hi1=linear(w1,w2,i1,i2,b1)
    hi2=linear(w3,w4,i1,i2,b1)
    #求h1和h2输出值
    ho1=none_linear(hi1)
    ho2=none_linear(hi2)
    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
    oi2=linear(w7,w8,ho1,ho2,b2)
    #求o1和o2输出值
    oo1=none_linear(oi1)
    oo2=none_linear(oi2)

    #求当前计算总误差
4 F: M# Y1 z/ S5 D% \& Y. L/ b    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
4 i! p# M; n# S    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
4 w; N0 U1 m: ~' t: \3 n( U    if eo<eo_allow:
: [2 ]$ F9 D, g, T0 k) z- p        print("误差已经在允许范围，训练结束\n")
        break
    #偏导
0 t# O8 ?+ R8 c' o" p' O    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
  e; I7 _$ x9 J; q    d_oo2_oi2=oo2*(1-oo2)
    d_eo_oi1=d_eo_oo1*d_oo1_oi1
    d_eo_oi2=d_eo_oo2*d_oo2_oi2
    #求w5_new
    d_oi1_w5=ho1
) ~# C6 k+ P- \$ g! Q4 f* U    d_eo_w5=d_eo_oi1*d_oi1_w5
' h7 R" o3 a  B. I# A9 Q: z, p1 `/ f$ S    w5_new=w5-lr*d_eo_w5
1 }& S6 z! _: P* E. q' Y; V    #求w6_new
    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
( u( q) H0 W! P7 Z6 J    w6_new=w6-lr*d_eo_w6
3 L& H. u: r  i2 ~    #求w7_new
9 D& o7 m& }6 n2 X. g    d_oi2_w7=ho1
$ a, V0 c  C& D# U, H1 u7 g    d_eo_w7=d_eo_oi2*d_oi2_w7
5 E, s1 B2 M) e/ W5 x2 R$ h    w7_new=w7-lr*d_eo_w7
    #求w8_new
    d_oi2_w8=ho2
. n# V) i, \$ T) t    d_eo_w8=d_eo_oi2*d_oi2_w8
, ?$ Q# i' S( d    w8_new=w8-lr*d_eo_w8
    #求b2_new
    d_oi1_b2=1
    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
    b2_new=b2-lr*d_eo_b2
! ^; J' D7 U4 `6 H$ G    d_oi1_ho1=w5
    d_oi1_ho2=w6
    d_oi2_ho1=w7
    d_oi2_ho2=w8
  u( ?8 n; K2 @- x7 x8 m    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
+ U* @' W8 S* m    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
: u& A% U5 U/ ^$ l: n; A; r    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
    d_eo_hi1=d_eo_ho1*d_ho1_hi1
7 k5 h6 i( e) C- Z+ M    d_eo_hi2=d_eo_ho2*d_ho2_hi2
3 {' i+ k- g% f5 u$ ~! z/ L" h5 q: r    #求w1_new
    d_hi1_w1=i1
    d_eo_w1=d_eo_hi1*d_hi1_w1
8 R8 ?8 L6 Q3 Y    w1_new=w1-lr*d_eo_w1
    #求w2_new
    d_hi1_w2=i2
    d_eo_w2=d_eo_hi1*d_hi1_w2
    w2_new=w2-lr*d_eo_w2
    #求w3_new
    d_hi2_w3=i1
    d_eo_w3=d_eo_hi2*d_hi2_w3
6 q; K/ e' i* q3 ?, ?0 H+ P    w3_new=w3-lr*d_eo_w3
  c% G  n# p" ?4 Z6 i6 o8 m5 G    #求w4_new
    d_hi2_w4=i2
    d_eo_w4=d_eo_hi2*d_hi2_w4
' o: s  y4 U/ P8 ~' H! `4 V' l    w4_new=w4-lr*d_eo_w4
  ]# n7 y$ Y) U5 m: M& S% ^    #求b1_new
    d_hi1_b1=1
+ W8 U: L+ T* C. M2 B    d_hi2_b1=1
+ G; R4 \: l' ~    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
# ]# g5 i7 a1 w! o/ P2 i# o0 W    b1_new=b1-lr*d_eo_b1
+ [7 C) j. t0 T" T! Z    #更新反向传播
8 T3 J- G+ X( r# b) G) s/ T    w1=w1_new
9 C5 h$ S  `$ O    w2=w2_new
    w3=w3_new
    w4=w4_new
    b1=b1_new
4 u4 `2 {# C0 s6 `7 ~    w5=w5_new
    w6=w6_new
    w7=w7_new
% z& D; |$ B5 X. I/ }0 P6 N    w8=w8_new
; J+ [: A" Q. k0 E  C* x) l& Q    b2=b2_new
print(f"当前计算总误差={eo}")
print(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
print(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
print(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

结果

& r4 \6 a7 ], [7 a$ f- `
结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。
: o$ \# j0 E  Z3 D! c
  f. R& O" s4 ^: l( ?补充
程序中d_{a}_{b}格式的变量表示a对b偏导
0 p" v. {, l3 ?% i————————————————
* Y6 l! |% M7 p, h; g  c版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
( d9 W& S, A7 h3 a) x  s原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954
2 o5 l$ v  I2 N1 ?% A