人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
, i. z! D7 i' f. B7 m
背景
初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

6 ~+ n- Z# n, I- v, \【神经网络分类算法原理详解】

注意
2 D; x2 F; I1 \0 F$ {# a, s5 w0 P站长提供的图片有点小问题，我们更正如下
, `% P* S4 r8 b/ {7 V
8 V) m: B# F' I+ l% G, S/ J
0 v+ P2 d% q6 i) `- h" `# A# R5 _* Y
问题
根据上图所示，我们有已知
/ n7 m7 \4 V- X2 V3 J" B+ m. B( P
$ i7 L# c1 q0 a: @/ E" k, K2 ?#输入层
i1=0.05
4 Y2 l/ `- L/ ~) Si2=0.1

#输出层
o1=0.01
o2=0.99
7 d: n  Z1 Z6 h+ r; v) z3 k6 ]这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的

2 z& F- v# I5 S- H8 @/ r4 G: c# c神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

1 y+ U. R0 u* v! c神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
5 @1 g5 V4 X8 U# \
# p/ G# O& I( n神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

: Y  r4 a. ]$ P4 ~3 f! @神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))

3 S, o0 F( P8 h同理

' S: j* V6 q! H  }% m( G" [神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))
' m; Z% _, u6 |$ ]3 P( B. m5 H
接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式
* m4 a8 U* x- \6 ^" ~" v
! e& s0 b% ?& y神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2

神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2

; F6 c& M' Y& _2 @/ p; F& E  e再经过非线性变换Sigmoid函数得到
* H+ P; Z! n9 ]" ]
' P0 O" g, b" A; m6 a神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))
  ^" K5 [. L+ \2 K' x
神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
4 r4 E8 d6 I: J
损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足
# W8 s7 c+ N( y! V0 L
学习次数 (learning_time 简写为 lt)我们限定最大为10000次
) O) P5 o7 m) P5 {2 ?$ ]8 y- j
0 H$ `- W! y4 f3 u6 E7 n2 n: w学习率 (learning_rate 简写为 lr)我们设定为0.5

依次求解代求参数
; A3 S" N) Y2 c4 e( E9 O/ U
w1~w8，以及b1,b2

跟
/ Y/ k( Y' ?; ~( B) u: B
损失值 (eo) 的偏导数

) z9 `0 F% S6 R" s再更新该参数，更新公式为

参数_new=参数-学习率*偏导(eo,参数)
随后进入下一轮学习
$ J! K$ e$ R( Q
$ A* S  I4 {! u* y. C7 c; }终止条件（满足其中一个即可停止训练）
% p! a" \- B1 j  _
! G# V7 y4 b7 o0 {' z1.学习次数达到上限

2.损失值达到可容忍的范围

: {5 l/ }! G4 m导数
f(x)=1/(1+e^(-x))的导数是
) T) f* p; I7 W4 Z# l, P7 ?f'(x)=f(x)*(1-f(x))
' S/ X" Q6 _! |5 g源码
import math

* ^* U0 o& D9 B5 n) I#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
9 w( G' |4 x2 H! u$ |: {% R/ q#网址中图片有误，请看我博文上的图片
, [2 M0 U  f. A2 ^3 J
#输入层
. i/ y+ H( ]+ ^) i* S6 Zi1=0.05
i2=0.1
#权值参数
8 X1 U1 y" I9 l' g8 jw1=0.15
w2=0.2
w3=0.25
w4=0.3
w5=0.4
w6=0.45
/ A% F$ R& T! p: B9 X" L0 E  ?w7=0.5
& J9 m5 L+ j% ?, z4 Rw8=0.55
% U5 q0 g( D- F#输出层标记（即期望值）
& e: H8 l2 [0 Eo1=0.01
' h8 @; Z$ }8 h. s  v6 ~o2=0.99
#偏置项参数
" t0 `! t6 f% Y* c  t. d/ q, Vb1=0.35
b2=0.6

8 A. n! P8 {: }3 }#学习率
& C8 m& _2 E) Mlr=0.5
, t8 d: P- L- z#学习周期
  G8 r. E, s7 f: Q& ylt=0
+ O. p5 R$ ~! [max_lt=10000
; t9 y" ]( x1 e: p8 c# S! h#允许误差
eo_allow=1e-5

#线性转换
def linear(w_one,w_two,i_one,i_two,b):
! J& I$ m) {% J; x: I) [/ b6 y' c4 x    return w_one*i_one+w_two*i_two+b
# @! J7 T1 k/ m/ v! y% k#非线性转换
( g- Z9 L7 I1 E3 S! Ndef none_linear(i):
5 `. }0 Y* R& L    return 1.0/(1+math.exp(-i))

; o) T4 h; X5 D6 Eprint("训练开始")
! }" N0 Y; D# N, h" E" d#学习周期结束前一直学习
& k' `& i. k, S& m% U9 wwhile lt<max_lt:
    lt+=1
    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
- h3 I( w1 ]( {9 t8 J    hi2=linear(w3,w4,i1,i2,b1)
    #求h1和h2输出值
7 |5 e$ N3 Q; t8 C" a    ho1=none_linear(hi1)
    ho2=none_linear(hi2)
    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
2 q- Q- I$ {) }2 y  s' {. n3 u    oi2=linear(w7,w8,ho1,ho2,b2)
" |) i3 p8 w6 j' t! p6 [# \  U6 g    #求o1和o2输出值
    oo1=none_linear(oi1)
) L3 _% s/ o9 R" `* L- y    oo2=none_linear(oi2)
1 l) M5 A( c5 g2 {9 {* O5 N  b
% q' u4 j( j' |" i    #求当前计算总误差
8 \, n; D2 U- S- o/ f6 ]( |: O  g    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
    if eo<eo_allow:
        print("误差已经在允许范围，训练结束\n")
        break
, c( A( [" f4 {+ n! G    #偏导
    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
0 _, I  ^2 F" N3 Q5 }    d_oo2_oi2=oo2*(1-oo2)
# K! U9 x9 f2 M1 w9 k* [  y8 }3 m    d_eo_oi1=d_eo_oo1*d_oo1_oi1
    d_eo_oi2=d_eo_oo2*d_oo2_oi2
8 \# o/ f0 I0 k+ K; R/ [2 i, B9 [    #求w5_new
% J. R% T/ u5 D    d_oi1_w5=ho1
7 R5 S# a* p. J# L: E# K    d_eo_w5=d_eo_oi1*d_oi1_w5
    w5_new=w5-lr*d_eo_w5
    #求w6_new
    d_oi1_w6=ho2
4 G- T8 ~1 f3 d    d_eo_w6=d_eo_oi1*d_oi1_w6
/ X! e, G  h; u' O0 o8 Z) n    w6_new=w6-lr*d_eo_w6
    #求w7_new
    d_oi2_w7=ho1
7 N' z3 l; \% A    d_eo_w7=d_eo_oi2*d_oi2_w7
! F6 C. t4 p! R# b    w7_new=w7-lr*d_eo_w7
2 C7 @1 w$ G4 _) _. S: ?    #求w8_new
+ D# q7 H1 _+ ]' y1 p% X0 g3 `    d_oi2_w8=ho2
    d_eo_w8=d_eo_oi2*d_oi2_w8
$ h" c. S/ c/ F8 q3 }% ~* Z    w8_new=w8-lr*d_eo_w8
; g9 `! D, H3 T3 t3 y    #求b2_new
    d_oi1_b2=1
    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
    b2_new=b2-lr*d_eo_b2
    d_oi1_ho1=w5
    d_oi1_ho2=w6
3 ?3 ~* d% t$ v8 W% U0 n    d_oi2_ho1=w7
- ?8 C! ~, Y, o+ C8 t    d_oi2_ho2=w8
    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
7 a5 g4 w1 `, O$ @    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
/ z; D; l# r3 C2 W* D' S1 c    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
: E( Y& L) m! p1 `  a' X    d_eo_hi1=d_eo_ho1*d_ho1_hi1
& n/ i2 c; O, @4 @/ g    d_eo_hi2=d_eo_ho2*d_ho2_hi2
    #求w1_new
% Z. ?- Y5 {4 l4 }; H    d_hi1_w1=i1
6 h; G% ?! q! x    d_eo_w1=d_eo_hi1*d_hi1_w1
' \$ J( m8 M3 Y    w1_new=w1-lr*d_eo_w1
8 v! S6 G1 [% H% n, j/ ?( r    #求w2_new
    d_hi1_w2=i2
; I) f2 _0 Q2 @9 n    d_eo_w2=d_eo_hi1*d_hi1_w2
    w2_new=w2-lr*d_eo_w2
: W9 m5 ]" r9 b8 V! x    #求w3_new
! Y0 J& Y+ I) q& o- S; L    d_hi2_w3=i1
* z# X0 k1 f# q# Y1 C    d_eo_w3=d_eo_hi2*d_hi2_w3
2 V9 H1 _- ], w, j    w3_new=w3-lr*d_eo_w3
    #求w4_new
  o, S2 X; y: b  x4 h$ n5 v% H3 {    d_hi2_w4=i2
, X/ i* ~! o9 z% B% o    d_eo_w4=d_eo_hi2*d_hi2_w4
; x; o; y, ~* t* _    w4_new=w4-lr*d_eo_w4
8 D% Z# u3 q( K' w0 @% |9 W0 L8 C& Y    #求b1_new
0 p( n$ E+ u3 U    d_hi1_b1=1
    d_hi2_b1=1
5 h7 h- J, T' N% f    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
/ e3 c2 B# c7 V/ Q  Y7 E( a* u    b1_new=b1-lr*d_eo_b1
    #更新反向传播
3 @4 @' p# A, `$ T" X8 m- m( \    w1=w1_new
    w2=w2_new
  \! O0 Y5 c* T- [    w3=w3_new
6 l: X/ J- l: A0 T    w4=w4_new
1 a/ H$ I7 A5 o/ C& m    b1=b1_new
    w5=w5_new
( H4 ~, ^6 w+ _. I1 Y    w6=w6_new
    w7=w7_new
    w8=w8_new
    b2=b2_new
print(f"当前计算总误差={eo}")
print(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
print(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
print(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")
. l: P  x* C# u
! M6 v; ^" P; |) i: V4 }$ C结果
' ~+ Q4 H. T# ~3 ], _. i' Z2 g
' q: f0 V( I  z' s
结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。

补充
  i$ v9 y+ Z* _+ r: z% V0 C& o程序中d_{a}_{b}格式的变量表示a对b偏导
: h$ x$ @# w; I) `0 j) K————————————————
5 ]/ D3 f5 w* y" N% L) U版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
# N8 ~) q$ W- W原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954


4 j/ g4 {, H' l& k* X% N' l. l( V0 S  M