人工神经网络——反向传播算法初体验（python实现）

杨利霞

人工神经网络——反向传播算法初体验（python实现）
1 G/ N: c, n* \0 {8 v; j
4 {5 ?& m% {/ u; U- W背景
( Q& F  ^; K$ C2 k$ q  @初次接触反向传播算法，根据C语言中文网的站长提供的思路，照着做一遍找一下感觉，其中链接如下
+ O) O  P! Z: e7 T
2 i6 P2 r9 L) F/ [! v( _( J【神经网络分类算法原理详解】

  ~0 h+ F, S2 [. A2 t9 j" u注意
站长提供的图片有点小问题，我们更正如下
3 L/ S4 E  P/ x5 i" L; D  @8 j! u

* C1 H8 ?) V9 F
问题
7 {$ m+ O- P9 I) `4 y4 @( p根据上图所示，我们有已知

#输入层
$ O* B  b! d6 }. r  X% J! }i1=0.05
i2=0.1

% A. z$ Y! n7 K. F# q#输出层
o1=0.01
o2=0.99
这个神经网络是我们假想的，我们假想从输入层[i1,i2]==>>[o1,o2]的过程是这样的

神经元h1的输入（h1 input 简写为 hi1)=w1*i1+w2*i2+b1

" @* C( P5 g/ L6 o- F神经元h2的输入  (hi2)=w3*i1+w4*i2+b1

神经元h1接收到输入后，通过非线性转换函数【这里选择Sigmoid函数】变换得到神经元h1的输出
/ b4 e8 q4 d& S1 C- {: X- b3 p
2 Y" d  f) a2 G7 M: `4 f& ^神经元h1的输出  (ho1)=1.0/(1+math.exp((-1)*神经元h1的输入))

同理
2 I+ _* P& Q" Y
神经元h2的输出  (ho2)=1.0/(1+math.exp((-1)*神经元h2的输入))

6 A5 s1 R) X# _6 e& P接下来我们再把隐藏层当作输入层，输出层当作隐藏层，类比推出有关神经元o1，神经元o2的一些表达式

神经元o1的输入 (oi1)=w5*ho1+w6*ho2+b2
; a- d' U( n& r! ]$ E$ r5 ?
/ }2 ]7 ?3 A/ Y, r# N- A. t( ]神经元o2的输入 (oi2)=w7*ho1+w8*ho2+b2

再经过非线性变换Sigmoid函数得到
9 g0 j+ s: }- m, v
神经元o1的输出 (oo1)=1.0/(1+math.exp((-1)*oi1))

神经元o2的输出 (oo2)=1.0/(1+math.exp((-1)*oi2))
. z" h, ~2 j/ o! E+ b
+ x. ^' \( n8 ]$ S+ x' b我们将得到的神经元o1输出，神经元o2输出跟我们知道的期望值o1,o2进行比对，定义其损失函数为
9 h/ }% F, f' C$ a" m% c8 p
$ [. S/ n) F% E% Q; d损失值  ( error 简写为 eo)=((oo1-o1)^2+(oo2-o2)^2)/2

. I. P. o6 K' z( p! O由于我们的期望值精确到小数点后两位，损失函数为平方，所以我们仅需让损失容忍度(eo_allow)调整到1e-5即可满足

, D% @( p: a7 }) D' N学习次数 (learning_time 简写为 lt)我们限定最大为10000次
5 L* R. a+ A8 i! R. x
学习率 (learning_rate 简写为 lr)我们设定为0.5

# [! Y( K+ }) `) h% |! z: p依次求解代求参数
) h2 W4 t% q. R7 J/ [. f7 |
0 S& _; _- V; I" ~  h' \( Vw1~w8，以及b1,b2
3 M  g* E0 U5 k( F
% ~6 v" Q2 D0 Q% Y跟

损失值 (eo) 的偏导数

再更新该参数，更新公式为
& U  S0 j2 ~1 y: K
! r# A- M+ L" V参数_new=参数-学习率*偏导(eo,参数)
随后进入下一轮学习
6 p* ~% `2 m3 l8 u5 [) ?5 I. w! F
8 [! n% z, n' F- S0 E3 x; Y- [终止条件（满足其中一个即可停止训练）

1.学习次数达到上限

) A& e! B( \! Q5 P2.损失值达到可容忍的范围

导数
4 b' Q% y" V7 j  B, n% v  Rf(x)=1/(1+e^(-x))的导数是
( W/ }2 @' Z1 c- }f'(x)=f(x)*(1-f(x))
源码
import math

- ^& ?3 @! q/ F- S6 h! ]( D2 W#参考自网址【http://c.biancheng.net/ml_alg/ann-principle.html】
, D7 J; A- b: f( ^( g#网址中图片有误，请看我博文上的图片

- r9 u& A$ ~5 e6 m  K, w% }#输入层
9 K* F- r6 W4 j) A  _; }, Fi1=0.05
; Y) n) {5 s, v1 }2 j! f' mi2=0.1
  f* U5 d3 _2 a4 _/ @' D#权值参数
w1=0.15
w2=0.2
w3=0.25
  v' c5 B4 L0 \" m- _9 J% t3 Bw4=0.3
' H( D, U4 [- H8 N, Ew5=0.4
w6=0.45
9 s! J1 G$ P0 k' N# j) z- [; uw7=0.5
; E0 X# |1 Q2 ^) v3 Y: h5 m$ Cw8=0.55
4 j1 {) F  J! t! i#输出层标记（即期望值）
o1=0.01
& m! e7 ?8 T* {. x, ro2=0.99
#偏置项参数
/ z' q! y0 g" @4 j# gb1=0.35
  `1 w/ ?, J1 ?4 }1 Vb2=0.6

#学习率
lr=0.5
#学习周期
  o  M8 I) J. A+ b1 U+ ^! Llt=0
8 H4 Y! \; c% Y1 w1 E, P- f* ymax_lt=10000
#允许误差
3 i* p! l  p  b3 M% z& f! Peo_allow=1e-5

, j9 q; n; K! C6 |3 B$ B4 B  g#线性转换
; Q, S* Y( G9 d* ^def linear(w_one,w_two,i_one,i_two,b):
    return w_one*i_one+w_two*i_two+b
#非线性转换
def none_linear(i):
    return 1.0/(1+math.exp(-i))

9 [3 r# T) P' G+ v9 w* R, s2 Tprint("训练开始")
#学习周期结束前一直学习
while lt<max_lt:
    lt+=1
    #求h1和h2输入值
    hi1=linear(w1,w2,i1,i2,b1)
( `! Z+ i( o0 [: ~    hi2=linear(w3,w4,i1,i2,b1)
& q+ w: b1 O" D, p9 {" {7 P$ ~8 ?5 {    #求h1和h2输出值
0 Y  t$ d/ G! t" h6 s    ho1=none_linear(hi1)
; e$ W9 Y, P8 S' f    ho2=none_linear(hi2)
/ C5 K: T+ P% }- y. N6 O3 ]8 q    #求o1和o2输入值
7 V! T/ V8 ?; o8 u5 |( \, x    oi1=linear(w5,w6,ho1,ho2,b2)
4 w) E' |, Y9 z, ^% k& W: \    oi2=linear(w7,w8,ho1,ho2,b2)
    #求o1和o2输出值
2 _% z6 y$ S. j5 o    oo1=none_linear(oi1)
    oo2=none_linear(oi2)

+ G9 |0 v7 a" @7 g    #求当前计算总误差
    eo=(math.pow(oo1-o1,2)+math.pow(oo2-o2,2))/2
    print(f"第{lt}次训练，当前计算总误差={eo}")
9 q6 }) j& y2 i8 x    #误差已经在允许范围，退出训练
    if eo<eo_allow:
+ ~/ ]' y1 ?& H8 b5 N/ c3 D! ^        print("误差已经在允许范围，训练结束\n")
        break
    #偏导
; }8 S6 \( B5 j3 i# `    d_eo_oo1=oo1-o1
1 Z9 `6 V% n- H9 A; U    d_eo_oo2=oo2-o2
0 C9 @. F+ }, Q# A+ E' O    d_oo1_oi1=oo1*(1-oo1)
7 s6 u& [$ k+ w1 ~2 r    d_oo2_oi2=oo2*(1-oo2)
: S' d  b( N; p) W- c7 U& F; b5 |    d_eo_oi1=d_eo_oo1*d_oo1_oi1
    d_eo_oi2=d_eo_oo2*d_oo2_oi2
9 I' u5 q( O! I7 d, R: e    #求w5_new
    d_oi1_w5=ho1
1 F0 m; u! _) g8 }% x) w    d_eo_w5=d_eo_oi1*d_oi1_w5
    w5_new=w5-lr*d_eo_w5
    #求w6_new
! @$ H9 r% p! m    d_oi1_w6=ho2
# U! `* n6 k6 m    d_eo_w6=d_eo_oi1*d_oi1_w6
    w6_new=w6-lr*d_eo_w6
    #求w7_new
7 ~0 a/ U0 Q; v& l  a, H    d_oi2_w7=ho1
    d_eo_w7=d_eo_oi2*d_oi2_w7
! T' ]2 v! q" m6 M' F0 n% W) c+ A    w7_new=w7-lr*d_eo_w7
% W1 F5 y) }! s2 {& w    #求w8_new
( X$ f8 T7 Y6 S; z1 [6 D    d_oi2_w8=ho2
9 `, l9 @) A% g' v+ C, S4 h    d_eo_w8=d_eo_oi2*d_oi2_w8
    w8_new=w8-lr*d_eo_w8
    #求b2_new
6 N! J, M/ T: C' D! t! q0 z    d_oi1_b2=1
    d_oi2_b2=1
    d_eo_b2=d_eo_oi1*d_oi1_b2+d_eo_oi2*d_oi2_b2
) ~- D  z$ V' w    b2_new=b2-lr*d_eo_b2
    d_oi1_ho1=w5
    d_oi1_ho2=w6
    d_oi2_ho1=w7
    d_oi2_ho2=w8
    d_eo_ho1=d_eo_oi1*d_oi1_ho1+d_eo_oi2*d_oi2_ho1
: t/ w# a6 q# R# O, B3 ]    d_eo_ho2=d_eo_oi1*d_oi1_ho2+d_eo_oi2*d_oi2_ho2
    d_ho1_hi1=ho1*(1-ho1)
    d_ho2_hi2=ho2*(1-ho2)
% [6 g6 O9 q; R& z: L- X; Z    d_eo_hi1=d_eo_ho1*d_ho1_hi1
    d_eo_hi2=d_eo_ho2*d_ho2_hi2
1 i0 H' P3 u/ j/ @2 L    #求w1_new
    d_hi1_w1=i1
    d_eo_w1=d_eo_hi1*d_hi1_w1
) C! W3 n9 i+ l. Z: |    w1_new=w1-lr*d_eo_w1
6 |1 Z  N# K) ~" D& l# Z* I    #求w2_new
% R. q* e0 ~3 o& _& T3 F, c& v    d_hi1_w2=i2
# c3 p/ m9 T' |& |; Y5 ]    d_eo_w2=d_eo_hi1*d_hi1_w2
, @% O3 U0 l: O: s( i    w2_new=w2-lr*d_eo_w2
  A5 G& l% [1 s    #求w3_new
7 i  Q  q! C1 [& ~% c, E! V    d_hi2_w3=i1
6 f' ]$ {$ l' f    d_eo_w3=d_eo_hi2*d_hi2_w3
    w3_new=w3-lr*d_eo_w3
    #求w4_new
, k" N+ {2 d% V4 y    d_hi2_w4=i2
    d_eo_w4=d_eo_hi2*d_hi2_w4
    w4_new=w4-lr*d_eo_w4
    #求b1_new
    d_hi1_b1=1
    d_hi2_b1=1
% A! v: X: J. N" g$ ^    d_eo_b1=d_eo_hi1*d_hi1_b1+d_eo_hi2*d_hi2_b1
    b1_new=b1-lr*d_eo_b1
% @* J) e* I' N0 [" A/ K    #更新反向传播
    w1=w1_new
+ R/ Q" d, F, N6 z! }% ^/ ~" s    w2=w2_new
    w3=w3_new
' w1 a) k+ N. F! c! O" d    w4=w4_new
% Z. J, n& W& L5 j% n6 \/ g8 F    b1=b1_new
    w5=w5_new
& D1 V6 f# O, B& I+ H' r% F    w6=w6_new
    w7=w7_new
    w8=w8_new
    b2=b2_new
print(f"当前计算总误差={eo}")
print(f"w1={w1}\nw2={w2}\nw3={w3}\nw4={w4}\nb1={b1}\n")
+ h# i' {1 k8 \& d, H9 qprint(f"w5={w5}\nw6={w6}\nw7={w7}\nw8={w8}\nb2={b2}\n")
* \7 L) g/ {* [0 w% S# _  @  cprint(f"期望值:[{o1},{o2}]，预测值:[{oo1},{oo2}]")

结果

* i& |& F7 N! N: x! y' E
: U' @$ w# T9 d1 A& H" H4 P) H5 g+ G$ I结语
可以看到，在经过七千多次训练之后，我们找到了一组参数满足我们假想的关系，本次人工神经网络训练完成，反向传播算法体验结果良好。
! t% D1 k# R' l9 d" n+ u
补充
( o8 q* o# Z: t, a# N- x" Y程序中d_{a}_{b}格式的变量表示a对b偏导
0 G0 E4 o4 B0 \2 T: O2 a! u: `# h! r————————————————
版权声明：本文为CSDN博主「冰凌呀」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: V" P. q4 p% j  I9 j% ~, [原文链接：https://blog.csdn.net/qq_36694133/article/details/126667954


6 U7 Z  i2 _5 {( D  `; K; |