人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
* i5 l7 V6 z$ q
背景
初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

$ |( T# N8 V  X& ^: y0 W【神经网络分类算法原理详解】
- p* E$ u+ A! x( Q5 P1 s/ ~/ A
( ^7 p( }" {  s# J1 d注意
: t" W  |8 `: m1 N% ?, R: b站长提供的图片有点小问题，我们更正如下

6 G$ x3 c. }" G) V* H
% U. k5 N, Y1 R+ R
2 `1 q" i# r, g) G问题
0 M" ]5 u+ }/ m4 {% L根据上图所示，我们有已知
" L/ i* V4 h% b9 W# O2 {0 J
#输入层
- J& M4 C( s/ {  ^/ Qi1=0.05
i2=0.1
# f% S) G  R! }. p, x& I9 S
#输出层
7 n1 E! M" f2 V% |+ b- p& @! d4 Wo1=0.01
o2=0.99
; m* I& @' v2 `0 y" }这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的
8 k; m) E. ]. k, b* n. x
神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1
3 _; B; O# l+ B, ~+ q, Y  b
神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
' \. a/ }; T) b, Q
# G9 Y' K. o3 o8 q% p神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

3 A) x! R" q# e1 z+ u  G神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))

5 u8 O3 X6 }; P7 e4 p5 g同理

$ W) o( p5 y  A4 N神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))
: o1 c& e$ V* ]2 v
接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式

神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2
1 d. O7 z! `- V5 U* |! Q8 D; S
7 v/ v+ {  k  s* j9 t! I0 C神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2
3 T: }+ T1 d: N; Y0 ^1 B; ]) q
; A1 M( y4 n. ]再经过非线性变换Sigmoid函数得到

* q8 a% P2 J% ?* @1 ~0 |4 Y神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))

" n4 E  b. v  j! S3 F8 M神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为

) z) S' r. x/ W) R1 _" n损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足
7 O% Z$ s% J  }/ W! v
学习次数 (learning_time 简写为 lt)我们限定最大为10000次

$ {! ?  t# {2 D# G学习率 (learning_rate 简写为 lr)我们设定为0.5

0 |0 |( F0 l2 j' r- d依次求解代求参数

w1~w8，以及b1,b2
& p$ U1 H6 `# z: i, A: v
" L) N" q7 m0 W9 F1 {跟

损失值 (eo) 的偏导数

再更新该参数，更新公式为

参数_new=参数-学习率*偏导(eo,参数)
随后进入下一轮学习

终止条件（满足其中一个即可停止训练）

1.学习次数达到上限

+ d* p! e0 ]+ k7 O" F7 I: Q2.损失值达到可容忍的范围

. Z9 U9 f9 a, l导数
1 @2 Z; o& L/ A6 P. Kf(x)=1/(1+e^(-x))的导数是
f'(x)=f(x)*(1-f(x))
源码
. _8 H9 G9 K# U( |4 G( n* O$ x* ]import math

( D/ t" u; V9 N/ Y#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
#网址中图片有误，请看我博文上的图片
# I' I! c# Q) K! z! @% k- h
#输入层
7 R& L9 Z# S- S7 v6 C1 j" ni1=0.05
0 ]; @: a$ ~) F& _i2=0.1
$ O. x3 f. ~3 ]# f; ~#权值参数
( i" v" t7 b5 i; gw1=0.15
3 X5 v8 l) V  h5 z, m$ o/ jw2=0.2
5 U6 a4 @) h, x, b  Fw3=0.25
w4=0.3
3 [5 l& _7 @" w. ?0 Q4 C" U9 C; p$ D: n/ sw5=0.4
w6=0.45
5 b) M, a# }) ww7=0.5
9 f* b2 ^3 D  w: F) fw8=0.55
#输出层标记（即期望值）
o1=0.01
" t6 b# a9 W  \- `+ w3 ^6 Q2 wo2=0.99
$ d8 A! b, L2 I5 e9 g: S#偏置项参数
# H  l) X+ _' S7 L" Wb1=0.35
b2=0.6
. N5 P7 q0 v6 V. ~
#学习率
7 X1 L# k7 J& nlr=0.5
! e  v+ T# j( W#学习周期
lt=0
3 x  b* J1 q! R8 H  Fmax_lt=10000
1 t7 E& g& H3 W5 Q4 M#允许误差
& {# E; a! ?: j+ feo_allow=1e-5
" k& P8 H5 {- v, [- H" K
#线性转换
def linear(w_one,w_two,i_one,i_two,b):
    return w_one*i_one+w_two*i_two+b
#非线性转换
def none_linear(i):
. M8 w; a9 {% X- @& t" L    return 1.0/(1+math.exp(-i))
+ [4 h- s( k0 e( R7 C
print("训练开始")
#学习周期结束前一直学习
7 ^0 V8 w( N2 N: [- n* n1 t! D* F  {while lt<max_lt:
    lt+=1
% X* N' x5 a0 F8 d    #求h1和h2输入值
$ F2 Y+ g, z. H" L5 O& q  T$ D    hi1=linear(w1,w2,i1,i2,b1)
3 Q' P; C" r0 }    hi2=linear(w3,w4,i1,i2,b1)
* ?" Q6 E  u  f3 W0 v    #求h1和h2输出值
    ho1=none_linear(hi1)
    ho2=none_linear(hi2)
. A, F% [  Y1 M# n$ |: g6 q5 U+ r  E    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
    oi2=linear(w7,w8,ho1,ho2,b2)
( H7 J$ T- @1 ?! s5 o( V* _    #求o1和o2输出值
, e1 b% r; \* U5 T    oo1=none_linear(oi1)
    oo2=none_linear(oi2)
0 f* n5 m; ^9 G1 h
    #求当前计算总误差
    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
    print(f"第{lt}次训练，当前计算总误差={eo}")
    #误差已经在允许范围，退出训练
$ [" [9 O3 @- _2 J1 M) f; i    if eo<eo_allow:
+ }6 d6 W/ u" ~3 G1 j        print("误差已经在允许范围，训练结束\n")
0 S& Y( V3 i6 p! ~/ i        break
" l2 S- s! n5 Y9 \    #偏导
- ~' K. x) V. N+ x    d_eo_oo1=oo1-o1
    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
$ R% r* U2 _4 Y8 d( m. k; C3 W    d_oo2_oi2=oo2*(1-oo2)
8 a7 E( [' b& o0 Y- I    d_eo_oi1=d_eo_oo1*d_oo1_oi1
8 z2 |. g2 |6 l2 V    d_eo_oi2=d_eo_oo2*d_oo2_oi2
+ Q$ x8 K7 ^) h9 t4 r) `    #求w5_new
% m  d; R' D) i, C: u5 E" Z    d_oi1_w5=ho1
    d_eo_w5=d_eo_oi1*d_oi1_w5
1 \9 o$ Z; \7 U2 t$ |8 D8 ]  o    w5_new=w5-lr*d_eo_w5
8 j, |1 }7 U1 ]) H; u$ c    #求w6_new
0 B& y# O& y! A& O* G0 K  y    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
    w6_new=w6-lr*d_eo_w6
    #求w7_new
% X  {2 J3 C+ O/ W6 o/ N6 E    d_oi2_w7=ho1
( F+ ]. Z  m, W    d_eo_w7=d_eo_oi2*d_oi2_w7
    w7_new=w7-lr*d_eo_w7
6 [) n% O4 o/ b' x# H& k7 v' V    #求w8_new
    d_oi2_w8=ho2
$ h$ q$ C9 B2 S& S* @, m3 U    d_eo_w8=d_eo_oi2*d_oi2_w8
- Y" Q/ U$ j, z! V" n/ b5 J    w8_new=w8-lr*d_eo_w8
    #求b2_new
    d_oi1_b2=1
    d_oi2_b2=1
7 k9 c' q+ V; G/ p  r( C2 f, t    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
% _8 d- c. _5 i; I( a0 y    b2_new=b2-lr*d_eo_b2
    d_oi1_ho1=w5
    d_oi1_ho2=w6
& i8 s4 V" d+ m- {    d_oi2_ho1=w7
    d_oi2_ho2=w8
1 l; p6 b3 n5 @, Y    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
# `7 S$ C  h% p! k! l. T    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
    d_eo_hi1=d_eo_ho1*d_ho1_hi1
    d_eo_hi2=d_eo_ho2*d_ho2_hi2
; I3 ^3 [" t! l! b( @% ?7 L6 t    #求w1_new
5 o6 ~: G+ K2 v5 J! [% `    d_hi1_w1=i1
" x7 c1 x) w1 ]6 L7 v: ^    d_eo_w1=d_eo_hi1*d_hi1_w1
! T; A& F1 Z: Z    w1_new=w1-lr*d_eo_w1
5 q- @2 O5 F- I  f% ^7 A! r    #求w2_new
( I, E3 X8 l7 M( S, S- V) l8 e. V    d_hi1_w2=i2
    d_eo_w2=d_eo_hi1*d_hi1_w2
* K5 [! l  {/ x& i6 V5 u0 h) V" J; p    w2_new=w2-lr*d_eo_w2
4 L1 M# d7 i7 x, Y; }    #求w3_new
    d_hi2_w3=i1
0 L, Z7 u* r: {    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
9 s! I: k, v+ D, o" O. Y; M    #求w4_new
  \/ ?% y8 R! e5 R  p1 l. _& G    d_hi2_w4=i2
, K7 Z2 v% X: R6 h( |+ s9 d4 h$ r( i    d_eo_w4=d_eo_hi2*d_hi2_w4
( |. q- d% Q* P% @; k    w4_new=w4-lr*d_eo_w4
) p2 [3 ~! e3 |; j    #求b1_new
    d_hi1_b1=1
    d_hi2_b1=1
    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
' p1 u, H2 V- U# [3 j  A0 X    b1_new=b1-lr*d_eo_b1
    #更新反向传播
; q5 o$ Z: g6 j) Y- T: M& M) q    w1=w1_new
    w2=w2_new
    w3=w3_new
    w4=w4_new
) {4 I* J  K# J9 Z4 d* y    b1=b1_new
    w5=w5_new
; B- L0 D# z+ K: ]* G# d' {0 D    w6=w6_new
    w7=w7_new
    w8=w8_new
    b2=b2_new
* f$ U0 I' v- A' r5 w* Y7 Yprint(f"当前计算总误差={eo}")
* }0 J0 x3 }* Yprint(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
print(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
print(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")
! H& e8 S: e3 I4 F) X( H5 w
+ ]7 k. B# w. v5 a0 x2 H结果

: j" S, }7 g# E& T3 X' I
' z: Y5 `: u  }# B, }3 m结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。

补充
/ I7 y3 s' F9 F: `程序中d_{a}_{b}格式的变量表示a对b偏导
————————————————
版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
5 G: m2 e6 x) _# K+ l0 s- e( X原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954
0 f7 ]1 {) ]4 _8 L- P6 X# p, T

. c4 N, m1 Z7 Y5 q