人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
8 P1 r6 X2 j! @0 H, `" b
背景
初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

, e1 O- P" P9 k# e4 ^6 M- Q+ O【神经网络分类算法原理详解】

% k2 w& g/ l( T9 L/ V6 l' l- m注意
站长提供的图片有点小问题，我们更正如下
- D/ l& e+ }- x8 O


问题
根据上图所示，我们有已知
* K5 Z7 A4 D& n1 B( f4 r" o
+ I* d- W  U' N% G& N; o2 l) L#输入层
" Y6 Q" n6 _: yi1=0.05
8 g& H4 R: _  q- }7 n  {i2=0.1
. R6 ^2 D0 H) u- W- K3 c
#输出层
) h/ i# y$ y6 n' X/ a% V" j( Y9 F, io1=0.01
o2=0.99
这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的
8 K% a% c# s, i
神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

神经元h2的输入  (hi2)=w3*i1+w4*i2+b1

神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))
+ x7 Y: U9 h1 Y7 m( h1 |
同理
/ N; R* X1 |2 s5 w
% i5 W+ E0 ]2 \9 N7 B神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式

神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2

神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2
- y1 o; L8 I6 f; h& t$ u' `
再经过非线性变换Sigmoid函数得到
7 v& B  s2 Y, b4 z2 G
神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))
$ k) N) f5 O2 v6 G
神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))
- r% t8 m, W# a& Z' \2 F" R( E6 {, {7 G
1 n  ~6 d, F7 O9 V  r1 N! C我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为

8 K1 h  h# o2 m3 r3 H4 B! _: M损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足
) ?2 l( p. {7 y4 }+ y! Z
学习次数 (learning_time 简写为 lt)我们限定最大为10000次

$ A& O$ |8 i0 M& M2 [学习率 (learning_rate 简写为 lr)我们设定为0.5

依次求解代求参数

w1~w8，以及b1,b2

跟

: r/ G7 H4 d/ Q. u9 S损失值 (eo) 的偏导数
8 w1 @; x& |" \6 A) J
再更新该参数，更新公式为

/ Y+ b7 H( C+ |9 |参数_new=参数-学习率*偏导(eo,参数)
! v/ ~& `: y. d随后进入下一轮学习
7 X; n/ s% ^6 w0 H' H4 Y% k: f
& U# i7 P; x% T4 d' x* k终止条件（满足其中一个即可停止训练）
% e0 m' L4 {5 s  v
- ^2 `* D# F% e1.学习次数达到上限

2.损失值达到可容忍的范围

导数
f(x)=1/(1+e^(-x))的导数是
: j1 ?' y' y$ T8 [8 D/ A3 c6 ?# Jf'(x)=f(x)*(1-f(x))
2 m3 E  G" ?% f2 o1 H6 N源码
import math
3 l- y+ J9 [, j3 ~2 J4 S3 M
#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
#网址中图片有误，请看我博文上的图片
! k6 u- U; y# R7 u& D3 X
#输入层
i1=0.05
i2=0.1
#权值参数
w1=0.15
w2=0.2
w3=0.25
6 O$ L4 {* ]' l- c! fw4=0.3
! O" V- B; C6 Q; q/ a$ Ow5=0.4
w6=0.45
3 O7 h& g/ T$ e1 w  r( i- Rw7=0.5
4 d) z7 r2 n3 i) t( F# Ww8=0.55
* N: G( R( P; o  X#输出层标记（即期望值）
o1=0.01
o2=0.99
, n6 o5 V' D+ A; N#偏置项参数
, D) `% H4 I. b( R; O- o2 W; qb1=0.35
b2=0.6
( t0 A  Y" L5 ]
#学习率
lr=0.5
0 Y. W- P! M8 y#学习周期
" m/ f. [/ ~$ k) r( e; K: k6 }6 v) vlt=0
max_lt=10000
#允许误差
eo_allow=1e-5
2 P  B. E: G4 p. b
" L6 o) L& {5 C- n" H1 @0 V#线性转换
- x, a7 J- k7 a( Z( cdef linear(w_one,w_two,i_one,i_two,b):
: z5 j, i+ W+ W0 K; U8 }    return w_one*i_one+w_two*i_two+b
#非线性转换
def none_linear(i):
    return 1.0/(1+math.exp(-i))
. U8 N1 {2 z+ L4 ^7 |2 B& V
print("训练开始")
#学习周期结束前一直学习
; Y- q# d, T9 D! l% @while lt<max_lt:
    lt+=1
9 A+ o3 O; w6 i3 j' D3 `5 f' R8 q; J    #求h1和h2输入值
) e3 ?% K7 x7 d, i$ e8 t7 B0 z    hi1=linear(w1,w2,i1,i2,b1)
5 Q/ g0 t" ^7 w7 @    hi2=linear(w3,w4,i1,i2,b1)
    #求h1和h2输出值
    ho1=none_linear(hi1)
1 _  ]% B% B! j' \) S! c    ho2=none_linear(hi2)
    #求o1和o2输入值
$ J3 M/ k/ b* n" M2 y    oi1=linear(w5,w6,ho1,ho2,b2)
    oi2=linear(w7,w8,ho1,ho2,b2)
    #求o1和o2输出值
2 t4 I; q2 x; C- f5 Z$ n: h    oo1=none_linear(oi1)
! @& R, E& n- S. U; a    oo2=none_linear(oi2)

: q$ W: g1 Q8 E    #求当前计算总误差
    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
1 N+ ~/ ~/ V, j; o5 V    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
    if eo<eo_allow:
) r3 L+ b1 `' w% C6 l        print("误差已经在允许范围，训练结束\n")
        break
: D5 \/ n. R1 I8 C* A% G. G  K    #偏导
    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
% @% f5 v: r3 Z    d_oo1_oi1=oo1*(1-oo1)
    d_oo2_oi2=oo2*(1-oo2)
+ v" R. U. x% Z    d_eo_oi1=d_eo_oo1*d_oo1_oi1
    d_eo_oi2=d_eo_oo2*d_oo2_oi2
& U- m# [' {* {' F    #求w5_new
2 N7 ~0 h: L4 s- u& d- x4 W    d_oi1_w5=ho1
) c& i* y8 `* w8 d+ l! N' k    d_eo_w5=d_eo_oi1*d_oi1_w5
3 d1 E3 W; ?- }* V$ M    w5_new=w5-lr*d_eo_w5
5 Y5 N& N8 X8 Z+ B5 E    #求w6_new
    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
5 I: E+ J1 D$ K7 U3 w  C    w6_new=w6-lr*d_eo_w6
    #求w7_new
    d_oi2_w7=ho1
1 K, u3 \, j9 N# L( v- y: U    d_eo_w7=d_eo_oi2*d_oi2_w7
    w7_new=w7-lr*d_eo_w7
6 b! Z0 n# o. k0 [7 E7 l    #求w8_new
    d_oi2_w8=ho2
    d_eo_w8=d_eo_oi2*d_oi2_w8
    w8_new=w8-lr*d_eo_w8
1 ~8 g+ B: c, J2 u& R: w2 B4 h    #求b2_new
' y2 Y: z3 e7 e( b9 y, ?    d_oi1_b2=1
6 j% B5 r" @" i, s0 v    d_oi2_b2=1
) F7 r; F2 H/ D( M3 B5 C7 o    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
    b2_new=b2-lr*d_eo_b2
& z1 [  m3 _$ L5 A7 k; E    d_oi1_ho1=w5
2 p8 y4 t. ?3 [' A  K. H  V# L3 \    d_oi1_ho2=w6
$ d4 o6 Z5 J: _    d_oi2_ho1=w7
    d_oi2_ho2=w8
, W' X% H" s/ E( r( n* A% L    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
    d_ho1_hi1=ho1*(1-ho1)
1 {, J0 N  _, V( M4 ?$ R    d_ho2_hi2=ho2*(1-ho2)
8 U; G4 \" W! W# A    d_eo_hi1=d_eo_ho1*d_ho1_hi1
    d_eo_hi2=d_eo_ho2*d_ho2_hi2
5 v$ W  K9 M' A+ k    #求w1_new
    d_hi1_w1=i1
6 b) j6 |; G2 d  D( z    d_eo_w1=d_eo_hi1*d_hi1_w1
/ Y+ Y# Z- M1 U/ q8 D, T! s    w1_new=w1-lr*d_eo_w1
6 s' u* `' P( i0 c9 A6 Y. A& C    #求w2_new
    d_hi1_w2=i2
# `  N# d, i4 }& p    d_eo_w2=d_eo_hi1*d_hi1_w2
    w2_new=w2-lr*d_eo_w2
9 ]8 L: t( x: F* _$ W" M: z0 h    #求w3_new
4 Z8 G  L, t" r& L. f" J    d_hi2_w3=i1
& @3 S' c0 P  @# j- T    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
    #求w4_new
) P2 D$ p; h# Y$ U: W' r/ U    d_hi2_w4=i2
    d_eo_w4=d_eo_hi2*d_hi2_w4
    w4_new=w4-lr*d_eo_w4
5 [# A" @; I' P1 y+ q    #求b1_new
    d_hi1_b1=1
    d_hi2_b1=1
    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
    b1_new=b1-lr*d_eo_b1
    #更新反向传播
3 c3 b  j2 A- h7 |! p9 R    w1=w1_new
/ q! N5 W& |+ F7 p$ a$ w2 y    w2=w2_new
    w3=w3_new
    w4=w4_new
; F$ D: @9 c+ X" k- d/ [% V* a    b1=b1_new
6 U  @6 `; u0 i& Y" Q    w5=w5_new
  s4 I2 V# N# f    w6=w6_new
9 z+ Q9 {- m" u    w7=w7_new
7 |4 h, _5 }9 ?    w8=w8_new
    b2=b2_new
+ t& X5 m6 p4 T7 I6 Zprint(f"当前计算总误差={eo}")
print(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
9 `  Y& g" Z8 z- ~, hprint(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
print(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

; s2 Y: ]! l7 I5 w: F8 u; A结果
* q( U% U) J* j, w0 p- w4 H0 c6 C

0 g" V* `1 O$ \结语
! V; {6 T$ o$ D/ p" _+ E可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。
; I7 d. T3 P4 D/ Z4 P
7 V- M- S. t) q9 g补充
5 Z3 p( M, N- |9 [. e程序中d_{a}_{b}格式的变量表示a对b偏导
6 h: L) v  }9 d& H+ ]————————————————
6 X& J2 W- o4 W9 _  ?, Y( d1 p: o版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- d1 ]8 N: y. B- Q% a( O, O$ G原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954

9 a8 H( g' L) u
& ^2 o: p1 N* l0 Y* T2 z) J5 }