人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）

+ Y/ S' R) f/ `. q背景
1 G$ R2 v4 h! F: f  c初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下
, {. v5 p& c; t( }3 r+ N! w
【神经网络分类算法原理详解】

% I7 c& E9 A7 k; S' P注意
站长提供的图片有点小问题，我们更正如下


; ^8 y8 q, t8 {+ {* G% G! g. L1 W
5 ?+ K  H0 z5 x( ~8 k  [问题
根据上图所示，我们有已知
2 M* W) g: e# A% \) E# Y7 O4 E
#输入层
i1=0.05
! @8 z" w8 o( V# k/ Si2=0.1

#输出层
+ H- E2 X: o1 w9 {, x- po1=0.01
$ Z( @( @3 p( o6 so2=0.99
6 R2 p* G/ \" Z7 ~* p这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的

神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
. N3 l6 C! u0 Z+ I
) O- N8 a' S0 r# G神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出
+ q+ P. u% B( F& T2 P" Z- [! L
神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))

; k/ }1 i' i. T( y同理

' P" \! E( D, [- w* Y8 T) C神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式
; N$ }5 |+ b6 J
神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2
2 s( a9 h" S/ G' w; l
神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2
3 H5 d8 E2 P; \) ?; u( I: ^6 B- t
6 y+ }. Q: d2 W$ C$ \$ n# O再经过非线性变换Sigmoid函数得到

神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))
+ T) I) r$ q8 u+ j! ]8 j
神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))
1 z" j' x! P/ r: u" f! A4 I/ F
) B- ?' y, W8 O  S我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
5 s6 t6 b) D. `4 l) \
$ A1 d& k' p7 L2 |  t/ x损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2
; y4 F. k: K+ D. _( G5 P+ t
5 A3 X4 L1 u: I0 ]由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足

学习次数 (learning_time 简写为 lt)我们限定最大为10000次
3 H( r5 x& a( U8 H( Q
学习率 (learning_rate 简写为 lr)我们设定为0.5

, n8 E  k1 x; n, q9 @依次求解代求参数
3 b3 s% ?" b/ e/ P4 Q
8 h/ A; z, b1 g. dw1~w8，以及b1,b2

6 W% O; t6 N3 `2 K跟

损失值 (eo) 的偏导数

再更新该参数，更新公式为
+ q% Q7 ~0 I5 G  @9 F
参数_new=参数-学习率*偏导(eo,参数)
3 n+ J  j- Z" e  ?3 i6 h' F- [6 r随后进入下一轮学习
! o0 t' D9 v8 o7 C- u: r' `1 a
终止条件（满足其中一个即可停止训练）
! S5 w! W6 D6 E% J$ ~
5 o) D9 n3 M4 z5 i2 C# f1.学习次数达到上限
" ~+ a  h+ E# `" y* O  Y
% B0 ?9 Z2 |& z) }8 m' _7 q! v. K3 a2.损失值达到可容忍的范围

3 M, V$ _2 k5 m% V5 v5 Q( y导数
! E$ c. l/ N) [% q7 _" Jf(x)=1/(1+e^(-x))的导数是
* w6 W5 F6 ^8 o9 R* Xf'(x)=f(x)*(1-f(x))
# |2 A! p" J" j  d- l5 K源码
# D1 k* m6 F5 N- O$ H# h9 Bimport math

& r5 [) j' u+ H+ f- D2 o#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
8 \' z. @. f3 t+ B6 v2 C#网址中图片有误，请看我博文上的图片
$ L3 ?6 x6 \* m9 J+ x/ Z( t) c$ g, t; t
#输入层
) R  v4 `; r: oi1=0.05
i2=0.1
; }" b/ l( c: }9 _+ S1 v#权值参数
w1=0.15
w2=0.2
$ M. E" y* \6 v" V" y+ l' j& l& nw3=0.25
w4=0.3
  I' t) \2 `& E3 _w5=0.4
w6=0.45
: i8 o& G* B0 I9 m, {8 J$ [: r4 Yw7=0.5
w8=0.55
/ y; ]7 O0 z# I) j/ K, z#输出层标记（即期望值）
o1=0.01
2 \; Y. j/ k' j" e5 J. `8 c0 Zo2=0.99
#偏置项参数
b1=0.35
b2=0.6
3 ?4 B9 g. _4 c7 V) m/ h' _; s
#学习率
lr=0.5
6 {& O- \' q! h  Q#学习周期
% R+ E4 \, }1 {+ R3 B1 m0 Blt=0
max_lt=10000
' E* _) T" s- o+ K* [: r# F#允许误差
eo_allow=1e-5

" a. U$ o( m% t" Z3 Y#线性转换
def linear(w_one,w_two,i_one,i_two,b):
- a. R. h( B1 [- g    return w_one*i_one+w_two*i_two+b
# c* M" ]9 P% v#非线性转换
0 `! Q: _& `. o( pdef none_linear(i):
    return 1.0/(1+math.exp(-i))
( i$ j4 r; ~9 N% n; f
) e; t$ n3 v; vprint("训练开始")
- l& K; N/ v" }) a# X, T. V# d7 M2 u#学习周期结束前一直学习
while lt<max_lt:
    lt+=1
    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
    hi2=linear(w3,w4,i1,i2,b1)
    #求h1和h2输出值
    ho1=none_linear(hi1)
    ho2=none_linear(hi2)
/ p& i  ^% a2 H! L" ~) x    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
4 p, z3 l) L& h0 F* Z, R: a    oi2=linear(w7,w8,ho1,ho2,b2)
4 U6 F) c" \/ P+ H6 @$ N    #求o1和o2输出值
    oo1=none_linear(oi1)
+ s7 ?  ^. n7 y( `. |' M    oo2=none_linear(oi2)
. F- q/ d% M0 [; t; @
+ O0 [3 g' Z/ a8 C+ m. }  @    #求当前计算总误差
' X, v. u$ K4 e' B" b, a    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
" C+ v% R$ j$ @3 \+ f, |9 c1 b    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
    if eo<eo_allow:
; v' u1 h- u7 B* M& U- E( o& T        print("误差已经在允许范围，训练结束\n")
9 n9 D( y& ?) N- l* ]        break
1 O# c5 ?5 C$ v    #偏导
/ B( |' r' C% `8 b; r1 {    d_eo_oo1=oo1-o1
' }5 J. {; ^: }. E    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
    d_oo2_oi2=oo2*(1-oo2)
    d_eo_oi1=d_eo_oo1*d_oo1_oi1
    d_eo_oi2=d_eo_oo2*d_oo2_oi2
    #求w5_new
, i3 H3 @( D- B" I% r; Y7 h    d_oi1_w5=ho1
6 C9 A0 a# }9 U6 m    d_eo_w5=d_eo_oi1*d_oi1_w5
6 }6 B' o5 Y  A    w5_new=w5-lr*d_eo_w5
/ s" L8 V0 A; a9 m# {    #求w6_new
    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
  c4 ^2 y+ z' I  Q9 y& x    w6_new=w6-lr*d_eo_w6
    #求w7_new
    d_oi2_w7=ho1
    d_eo_w7=d_eo_oi2*d_oi2_w7
0 P7 V  Y3 R" J# U9 e    w7_new=w7-lr*d_eo_w7
    #求w8_new
    d_oi2_w8=ho2
3 @: [2 h8 w* P+ e7 v    d_eo_w8=d_eo_oi2*d_oi2_w8
8 u/ \4 T; g6 G4 Z1 G1 o    w8_new=w8-lr*d_eo_w8
  H; r! j- ~* e( _    #求b2_new
    d_oi1_b2=1
    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
    b2_new=b2-lr*d_eo_b2
5 y2 U* d, H8 ]3 j" {. Z; ~  p    d_oi1_ho1=w5
    d_oi1_ho2=w6
5 W  K& w( _* P; ]1 R    d_oi2_ho1=w7
    d_oi2_ho2=w8
. R8 {+ x0 \. k3 X5 B* T$ I0 O    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
$ j: g: m; x, i% e    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
    d_eo_hi1=d_eo_ho1*d_ho1_hi1
" h. H$ k! ^9 v9 T6 p9 A1 u+ [    d_eo_hi2=d_eo_ho2*d_ho2_hi2
0 O: B. H- x! ~0 T# S, `" M7 Z    #求w1_new
# Z7 [$ S6 }, U: \" p* [    d_hi1_w1=i1
6 k9 g8 K  v( j9 d/ `' s& n    d_eo_w1=d_eo_hi1*d_hi1_w1
# [- n) l. }  X# n/ [3 H9 g    w1_new=w1-lr*d_eo_w1
$ H+ D* J. E& W$ g    #求w2_new
5 B9 g6 b4 n* u* L7 [) T5 T* v1 L    d_hi1_w2=i2
% N' K) N+ b* c& R$ U. {" Q    d_eo_w2=d_eo_hi1*d_hi1_w2
2 h3 p; C  @5 t* D1 |    w2_new=w2-lr*d_eo_w2
, d6 v1 s; U8 n) ]    #求w3_new
- f9 N( v& K6 w3 D    d_hi2_w3=i1
% o5 J1 u4 W) A2 Q    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
    #求w4_new
& v8 _" a  |# w$ c' \$ j' ?4 `    d_hi2_w4=i2
    d_eo_w4=d_eo_hi2*d_hi2_w4
; U1 R; ?( u4 I9 M# h* `/ p" D/ m    w4_new=w4-lr*d_eo_w4
$ d5 U: ^  V4 b    #求b1_new
, t  d( C# \+ f, R4 t* o    d_hi1_b1=1
    d_hi2_b1=1
    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
6 D; r% D- c6 }1 ?2 E    b1_new=b1-lr*d_eo_b1
    #更新反向传播
2 f9 a/ e- @( n% W% r1 s    w1=w1_new
    w2=w2_new
    w3=w3_new
+ b4 ?3 h2 c+ `) i9 a! }; B5 [' ]    w4=w4_new
5 }- O4 f, T# C# o5 v$ c    b1=b1_new
    w5=w5_new
5 U2 A9 ?. F9 x& p    w6=w6_new
    w7=w7_new
    w8=w8_new
1 y) D1 `9 d2 j$ p9 n; j5 }    b2=b2_new
print(f"当前计算总误差={eo}")
print(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
2 W2 b* v" ]5 J+ Cprint(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
" o# ~& d  U3 [' xprint(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

结果
: d: @9 J+ l) D" z8 y. L" n- `
; N( u8 ^. G  w' h' g! j. g
结语
* X& H5 L4 K- Y' L可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。
) }' y0 f+ _3 f3 Y  m5 N
: ^& P7 |+ x7 C: ^  n+ ^补充
1 e! \) K0 }% H2 [/ U" U程序中d_{a}_{b}格式的变量表示a对b偏导
" y, J# _6 l' ]+ \————————————————
版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
1 C8 S9 j3 c# G5 o8 g原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954
, _% j3 I# [1 O. T; }' |/ `8 C5 L
4 e) p% L) g/ \, T# I
) V/ V1 J1 z2 W$ b! x2 e( L