人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
4 o% ^# p: {4 L
背景
初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下

【神经网络分类算法原理详解】

注意
8 v2 ]: C2 D* R' }' ^9 L站长提供的图片有点小问题，我们更正如下
' Z+ H% i0 c8 n; Z
9 D% T  h: J" q' g( K  Z  j
8 Q9 U/ }. T' I+ ~6 ^
问题
7 w( B4 h" z" g$ Y根据上图所示，我们有已知
! ~$ w+ j1 C- G  y
: K# E* p" s! O3 V" A9 u7 S; x4 V#输入层
" J+ @# [* {/ [i1=0.05
i2=0.1
7 h% X: ]( g; M2 F
- N* F. T! H# |8 {9 W8 W3 _#输出层
+ A* r9 F. ?8 d+ X2 }o1=0.01
o2=0.99
这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的

神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

神经元h2的输入  (hi2)=w3*i1+w4*i2+b1
% w0 k) p1 U$ |/ ?" [
7 D1 E3 F6 R/ {$ L/ S9 f: e. a( V神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出

神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))
3 E2 H! e' Q% M' n& j$ X9 B
同理
+ H' F% W$ n6 l' N1 n6 `) @
2 ~1 |* @7 [1 D0 h神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式
9 S& A# P6 ~/ E- v6 j- A5 S& ?
  q5 j+ q' ~4 W( U; D神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2

神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2

" j) J) N) S6 G, K& q) S再经过非线性变换Sigmoid函数得到

神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))
# |# H) B: y" O% L; v- A  H( T" V
神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))

2 J0 l. I* P  N  Q我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
7 Z. n9 h, v: j6 L
损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

1 G" _5 _1 A/ l' w; t由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足
' x* y+ N- W3 Y4 ~3 [2 f# E
( y8 T5 [# b) g% S0 V( {+ X3 {1 X学习次数 (learning_time 简写为 lt)我们限定最大为10000次
+ J+ G9 }8 }9 d/ W" p
学习率 (learning_rate 简写为 lr)我们设定为0.5
# A; U$ y. ~3 O% M
: w! G% n; w4 N依次求解代求参数
1 s! ~( p; |6 L: ~# {% i# X, a
6 B$ n; K' \& d5 \  `w1~w8，以及b1,b2
* f( j6 N. h; C( _( D' p$ R" H7 H
8 g: Z; ~/ X4 M. K1 C3 \跟
* R+ @7 f6 `/ A# _0 S2 F
损失值 (eo) 的偏导数
- L& B" B) G& q! s; [
4 C( K0 h2 r/ E' {' E( ^) a/ H% V# j再更新该参数，更新公式为
1 H7 e+ b& c& }" E
0 N2 L+ p2 o6 ~2 h1 v参数_new=参数-学习率*偏导(eo,参数)
随后进入下一轮学习

, U* J3 w8 r1 i; g8 @  F- }0 l终止条件（满足其中一个即可停止训练）

1.学习次数达到上限

/ H# K/ \) [. t; J4 Y6 ^* S: N1 @. H2.损失值达到可容忍的范围
2 m# n0 L+ p8 ^. E3 A5 p
导数
2 l$ A6 }+ g1 Y% b- h2 o% m- }f(x)=1/(1+e^(-x))的导数是
& m$ O8 Z) ~6 if'(x)=f(x)*(1-f(x))
" l. x- Z6 j' T9 ?源码
import math

#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
#网址中图片有误，请看我博文上的图片
; B- e( x' ?8 a  C, F% }
- e8 H0 G- ]9 I, }#输入层
i1=0.05
i2=0.1
#权值参数
7 Y  X8 {% v7 K0 yw1=0.15
& g( h3 M  k+ P8 x8 \* {( ?w2=0.2
/ Q( p) L( M! Z+ B: z1 vw3=0.25
w4=0.3
" v8 i- t- V+ ]2 Q$ ~0 H. T/ q) Kw5=0.4
( N( e8 O# C5 M. b; t! ^! Cw6=0.45
/ K8 V) m5 \5 |4 m0 {2 Lw7=0.5
1 H$ q8 |, l3 Iw8=0.55
1 p6 ^; C+ |& x5 }#输出层标记（即期望值）
o1=0.01
o2=0.99
& F: ~9 O0 v" J3 ^: x3 H7 G#偏置项参数
4 [1 k% q- M" K2 p) Z7 [b1=0.35
b2=0.6

6 f6 Z1 R5 d) w3 y#学习率
lr=0.5
: e/ _5 N! l% M/ |#学习周期
4 y9 L0 \. F  A8 llt=0
& g5 U) Q+ G  v; cmax_lt=10000
& K. Q: A# q, L8 P2 W#允许误差
( M/ i% x$ y" g& ^5 I! [' Z3 Xeo_allow=1e-5
" V- x6 C& e3 u9 ]9 u7 _1 _
#线性转换
def linear(w_one,w_two,i_one,i_two,b):
    return w_one*i_one+w_two*i_two+b
3 V" y3 ?- g; z# k% y# d! N#非线性转换
def none_linear(i):
! ?1 h' }% h: H, \. j6 j0 y& ]/ Y    return 1.0/(1+math.exp(-i))
* K+ z. |8 ]9 q4 g
print("训练开始")
#学习周期结束前一直学习
while lt<max_lt:
    lt+=1
% z" w% S$ Z( ]  z    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
    hi2=linear(w3,w4,i1,i2,b1)
    #求h1和h2输出值
0 Q* C5 T9 z+ T0 ~# A0 `0 ?    ho1=none_linear(hi1)
    ho2=none_linear(hi2)
: `) r' d$ L- C2 ~- ~$ A+ \6 _    #求o1和o2输入值
    oi1=linear(w5,w6,ho1,ho2,b2)
4 _- \/ V- U' y6 @& a2 I, T; w    oi2=linear(w7,w8,ho1,ho2,b2)
4 a9 v* o4 H: C5 ]# ^( \    #求o1和o2输出值
    oo1=none_linear(oi1)
0 d- h( S" J" {/ Z) Q    oo2=none_linear(oi2)

    #求当前计算总误差
' V9 j# v/ D3 ~8 n. G/ w+ R- H    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
    print(f"第{lt}次训练，当前计算总误差={eo}")
4 t. }# [, @) H: y    #误差已经在允许范围，退出训练
" ?  g/ C; {! K6 ~    if eo<eo_allow:
# X$ H5 V3 v1 Z* p# G        print("误差已经在允许范围，训练结束\n")
8 b7 N( [6 E: A1 P. g# A6 w        break
    #偏导
    d_eo_oo1=oo1-o1
4 [& G' k( h7 y5 n; i4 P# ~    d_eo_oo2=oo2-o2
    d_oo1_oi1=oo1*(1-oo1)
    d_oo2_oi2=oo2*(1-oo2)
    d_eo_oi1=d_eo_oo1*d_oo1_oi1
, w6 W. v" p$ }    d_eo_oi2=d_eo_oo2*d_oo2_oi2
4 n# m9 L/ L' b' Y' U    #求w5_new
# R. _1 ?7 P0 z( L* P; c    d_oi1_w5=ho1
  ^& Y) O, C1 ^* t- n    d_eo_w5=d_eo_oi1*d_oi1_w5
    w5_new=w5-lr*d_eo_w5
    #求w6_new
    d_oi1_w6=ho2
    d_eo_w6=d_eo_oi1*d_oi1_w6
    w6_new=w6-lr*d_eo_w6
    #求w7_new
5 q+ Q3 g3 x. \9 H0 Y    d_oi2_w7=ho1
* l1 f1 J( @: P5 P! p    d_eo_w7=d_eo_oi2*d_oi2_w7
    w7_new=w7-lr*d_eo_w7
* w/ R. `. T6 L  n1 A; O8 Q( F    #求w8_new
    d_oi2_w8=ho2
  J& V: s( j: O3 `8 U, B& V# K# t$ o+ l! w    d_eo_w8=d_eo_oi2*d_oi2_w8
    w8_new=w8-lr*d_eo_w8
    #求b2_new
    d_oi1_b2=1
1 }8 R$ j/ k) u% J    d_oi2_b2=1
! V& f" M2 A9 U, _8 I    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
    b2_new=b2-lr*d_eo_b2
    d_oi1_ho1=w5
    d_oi1_ho2=w6
    d_oi2_ho1=w7
    d_oi2_ho2=w8
    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
    d_ho1_hi1=ho1*(1-ho1)
6 K; _* F$ G! z8 \+ a3 p8 @. l    d_ho2_hi2=ho2*(1-ho2)
& q* I1 y) N6 |: s# {    d_eo_hi1=d_eo_ho1*d_ho1_hi1
# s4 w# B8 R$ e- _7 y    d_eo_hi2=d_eo_ho2*d_ho2_hi2
" c2 Y2 U# v) u% A' I* u    #求w1_new
- N7 m) G, e+ D% h7 @1 Z& p. S    d_hi1_w1=i1
5 C1 G. d! x7 o6 W- W! G    d_eo_w1=d_eo_hi1*d_hi1_w1
    w1_new=w1-lr*d_eo_w1
* L6 h, r. s& X6 E    #求w2_new
3 z6 j4 P3 X! Q% [    d_hi1_w2=i2
    d_eo_w2=d_eo_hi1*d_hi1_w2
0 B4 s( f# n+ R2 {4 e5 A3 ^    w2_new=w2-lr*d_eo_w2
. ?. z9 ~7 R0 `8 B+ E. j6 |5 T    #求w3_new
    d_hi2_w3=i1
    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
    #求w4_new
    d_hi2_w4=i2
$ ~3 o) S: r. a! q# }    d_eo_w4=d_eo_hi2*d_hi2_w4
    w4_new=w4-lr*d_eo_w4
4 _! i0 O  h' L7 `    #求b1_new
    d_hi1_b1=1
    d_hi2_b1=1
/ p* ?* o7 z! R    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
: w& j# T' F4 b  S/ V    b1_new=b1-lr*d_eo_b1
    #更新反向传播
    w1=w1_new
    w2=w2_new
    w3=w3_new
    w4=w4_new
    b1=b1_new
    w5=w5_new
    w6=w6_new
/ \" x9 P/ ~* ]& W* N2 ~% V7 e& g    w7=w7_new
    w8=w8_new
' m) c. A  g/ y1 U2 L8 q/ b    b2=b2_new
  K$ ^- Y) F9 Q- P1 m: X* t8 e' W5 {print(f"当前计算总误差={eo}")
! _! v! w$ _# Fprint(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
6 Q/ E  v; w$ Y* q; y) j& h& D8 Fprint(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
- v0 H+ E# S% r- M6 D- Uprint(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

结果


+ \, f7 z/ V5 }3 O3 n6 v, O" c) P结语
- z& K" m9 u: [可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。
- X5 ?8 s/ L7 Z' G6 n+ _
9 m3 }& S: s; `, ~4 G2 D' F+ e补充
8 v- l* K& i7 S2 [- E程序中d_{a}_{b}格式的变量表示a对b偏导
————————————————
版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954
1 H! F. j4 C# J2 e' h7 {1 f$ s& c, f

4 w" q7 S* G$ v$ f: [- [