人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
! h0 i% _) y7 _& F8 V
) ^. q- H  H! i5 }# b3 Y背景
* h" ^, W. _/ H$ |+ `2 p  A0 ^初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

& ?7 p6 `6 ^: P* k2 N: X" K【神经网络分类算法原理详解】
# @. s5 T& A$ {/ n/ U# ^
( n( X4 ^: n8 W% m  r% y注意
站长提供的图片有点小问题，我们更正如下
% {7 B2 s: u$ ?0 U
; M! e) @, [. U: g2 N

- S/ x0 D  I, m4 E) L( [问题
1 c8 b6 {$ I( [. @+ S4 d( i( W根据上图所示，我们有已知
% {8 V9 _2 s0 ?: [
#输入层
i1=0.05
i2=0.1

#输出层
+ w7 u  F% S4 X: }o1=0.01
o2=0.99
# T' [" w4 S2 Y这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的

神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

0 `+ C* O0 ?) N8 }. k1 s3 ~" @* j/ ]神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
$ d" i+ u9 x9 k: t
神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出
5 W8 e! r9 c- D  W
神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))
8 f" s$ G. h" H8 j
0 B9 F- q* I1 M2 O* O% w# }9 Q, X5 ~2 a同理
8 E5 R: A, ~" H' G4 y, J' C3 F6 k, [
% z2 [& X3 G, C4 E  I& ^, W神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式

神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2

5 b) v0 l0 I8 \9 F神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2

再经过非线性变换Sigmoid函数得到
( T7 R' w( L/ z; F: Y7 e1 z2 }/ e% t
* b1 e4 H# o: x" I! h( H8 W+ B2 U' O: q神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))

神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

7 Y* v8 n% \/ Y) X3 E我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
3 j8 b( Y# H2 T7 V+ L
损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足
$ |7 j6 N6 g4 W5 }! O% w
: p1 x2 u  G+ K* k1 g. I. U学习次数 (learning_time 简写为 lt)我们限定最大为10000次
# D. u4 m& z, a# C$ l( j
学习率 (learning_rate 简写为 lr)我们设定为0.5

依次求解代求参数

w1~w8，以及b1,b2
8 h: h, W7 b1 y: R) n
跟

损失值 (eo) 的偏导数

再更新该参数，更新公式为

9 |) h# Y8 S+ Y- g. W6 R& n' r) q参数_new=参数-学习率*偏导(eo,参数)
随后进入下一轮学习

2 G& A6 @4 `" b) [6 |4 y终止条件（满足其中一个即可停止训练）
' J% f' L2 ]: f" }& i7 J8 }
" _3 Y( m0 v. \8 s" Y1.学习次数达到上限
# ]- z: C% \# P
- S& y: d/ R$ I7 r0 P2.损失值达到可容忍的范围
) P& j. I: Z" F; W: L* \( w/ |
导数
f(x)=1/(1+e^(-x))的导数是
' [% q  Z8 V9 L) d$ _0 Cf'(x)=f(x)*(1-f(x))
源码
import math
7 L- ^9 r; Q( e2 U# Q, U
$ b% F5 i7 e, i#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
8 x, n/ d0 g: J; l9 y0 F#网址中图片有误，请看我博文上的图片
) [2 v- G  f: s# v9 R/ V
#输入层
* H# O2 ^5 w7 E; V8 @9 bi1=0.05
6 z7 |" D  d. l0 u$ ci2=0.1
#权值参数
0 K  T. M! \9 X4 ~/ Ww1=0.15
% i$ z& p" J! }- T9 C( Y, ?w2=0.2
' L2 j" }2 q" ~0 R: j. |6 aw3=0.25
8 P) K) V" l0 \; z: Cw4=0.3
) z6 K4 o" z; C7 h) Zw5=0.4
w6=0.45
w7=0.5
w8=0.55
' y$ {' W' ~- f! i" y0 y) O#输出层标记（即期望值）
; X6 n- r8 `6 {$ Y% {; _+ bo1=0.01
o2=0.99
#偏置项参数
b1=0.35
2 |9 u* Y9 H; w' f: o  _* G7 Z" j: V! [1 `! ib2=0.6

#学习率
7 f! T) a5 N$ x% E/ Ylr=0.5
* Y  R  c7 u2 x2 [#学习周期
lt=0
max_lt=10000
8 y7 h* ^1 ]9 \0 y7 Y#允许误差
eo_allow=1e-5

#线性转换
def linear(w_one,w_two,i_one,i_two,b):
    return w_one*i_one+w_two*i_two+b
#非线性转换
( Z& P$ e, [$ Q# j% m7 n) Z9 Pdef none_linear(i):
" F9 Z+ `& q! `4 v3 B9 u) W# W    return 1.0/(1+math.exp(-i))
" s) k2 S" X* a! @
8 G) r1 }* m! [' W1 P5 @/ aprint("训练开始")
#学习周期结束前一直学习
while lt<max_lt:
    lt+=1
) H& n& U/ C/ h    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
, |6 A) x8 [# o6 x+ T    hi2=linear(w3,w4,i1,i2,b1)
5 j& X# _2 [; ?    #求h1和h2输出值
7 Y* G1 \3 v2 e3 r# G    ho1=none_linear(hi1)
    ho2=none_linear(hi2)
    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
    oi2=linear(w7,w8,ho1,ho2,b2)
    #求o1和o2输出值
6 }' j1 B$ h* F) i' ]- f    oo1=none_linear(oi1)
7 |3 f- q6 z, k6 q( ?5 D2 P, d    oo2=none_linear(oi2)

    #求当前计算总误差
    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
    if eo<eo_allow:
        print("误差已经在允许范围，训练结束\n")
        break
    #偏导
' e: {$ y6 T5 v( v1 ~) [    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
. c5 W: g8 ^! u    d_oo2_oi2=oo2*(1-oo2)
* N- Q( s/ M( C$ w+ J: @# L0 g    d_eo_oi1=d_eo_oo1*d_oo1_oi1
6 O: g/ ~, C: f( ?  a" a* H    d_eo_oi2=d_eo_oo2*d_oo2_oi2
    #求w5_new
    d_oi1_w5=ho1
; g- B/ v9 L. g8 }    d_eo_w5=d_eo_oi1*d_oi1_w5
    w5_new=w5-lr*d_eo_w5
    #求w6_new
) r8 K1 [, C; \9 Q3 ]8 x& B    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
, C1 \& T6 C5 \& p  e3 v5 T% E) Z4 D    w6_new=w6-lr*d_eo_w6
9 C5 K0 Y3 F' G4 c% H3 H    #求w7_new
    d_oi2_w7=ho1
9 `: o: u0 L/ e( W# K    d_eo_w7=d_eo_oi2*d_oi2_w7
+ ?3 S' F% g7 B    w7_new=w7-lr*d_eo_w7
0 b* T) P& m' j: d" ~0 a+ J+ k    #求w8_new
    d_oi2_w8=ho2
2 t4 o( G" w; x& I' _$ r) W$ e    d_eo_w8=d_eo_oi2*d_oi2_w8
& x# O" b5 |; ~) q* ?    w8_new=w8-lr*d_eo_w8
1 p) K3 K2 D2 F0 G, _6 e    #求b2_new
8 @5 N8 R5 m& V. A9 u" v    d_oi1_b2=1
  \9 O/ z: G& G! |; v$ A    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
5 I1 N# O2 }: H4 u: F    b2_new=b2-lr*d_eo_b2
    d_oi1_ho1=w5
    d_oi1_ho2=w6
& y, B( H: C7 V* h: i9 u4 B& y    d_oi2_ho1=w7
* S# j8 }4 u5 U) l    d_oi2_ho2=w8
    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
# Y0 f9 Q6 k" i* M( f% m6 Y8 K, @    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
    d_ho1_hi1=ho1*(1-ho1)
7 c9 c& e; Q1 J, S+ D6 b    d_ho2_hi2=ho2*(1-ho2)
. ?. y' |7 e% K; h# G$ [    d_eo_hi1=d_eo_ho1*d_ho1_hi1
    d_eo_hi2=d_eo_ho2*d_ho2_hi2
    #求w1_new
    d_hi1_w1=i1
0 A8 ?8 \" D3 l" b  A    d_eo_w1=d_eo_hi1*d_hi1_w1
    w1_new=w1-lr*d_eo_w1
* T! ~  d; u+ U    #求w2_new
    d_hi1_w2=i2
    d_eo_w2=d_eo_hi1*d_hi1_w2
1 v( z" h0 r3 O8 F8 [    w2_new=w2-lr*d_eo_w2
* S8 a( ?  t; A    #求w3_new
    d_hi2_w3=i1
    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
1 \% X1 h. R5 @. }    #求w4_new
    d_hi2_w4=i2
; o3 l$ \) K$ {& c: Q5 [- B    d_eo_w4=d_eo_hi2*d_hi2_w4
; x) W" `4 E! o+ T' Y3 j5 z    w4_new=w4-lr*d_eo_w4
' y; J) {& T7 n' v" t    #求b1_new
! Z; e" H& n4 w$ H    d_hi1_b1=1
    d_hi2_b1=1
    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
    b1_new=b1-lr*d_eo_b1
    #更新反向传播
    w1=w1_new
    w2=w2_new
/ L8 R3 T  R' \3 v4 t% _2 ^    w3=w3_new
    w4=w4_new
  p7 ~! E3 I9 |, [+ r    b1=b1_new
3 v  S" _; h& ?/ n* d$ r# |2 H    w5=w5_new
0 z6 J4 D1 x& _6 g" J0 s: K, m  r9 R" C+ ^    w6=w6_new
    w7=w7_new
2 C. F: m3 ?# r6 d; p    w8=w8_new
    b2=b2_new
4 b9 Z+ Z" m7 V" X7 _# Bprint(f"当前计算总误差={eo}")
. o/ X  q: d: c$ c' H# x& zprint(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
print(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
/ T& X' R8 W. Q& L2 @print(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

  ^2 S% q4 E! ^4 ]结果
! M3 i+ Y8 E% d  M

结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。

) \. @) X9 T. q补充
程序中d_{a}_{b}格式的变量表示a对b偏导
————————————————
版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ |6 M5 F, W$ b% Z  s+ a5 l  Q原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954


, p# B* D+ A6 A& {/ B6 E4 B