数学建模社区-数学中国

标题: PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例 [打印本页]

---

作者: 2744557306    时间: 2023-11-29 11:30
标题: PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例

根据化简之后的公式，就可以编写代码，对 进行训练，具体代码如下：

1. import numpy as np
   / j$ ?# k9 m# j" _, V6 B
2. import matplotlib.pyplot as plt
   4 Y5 b6 l- o$ s6 D
3. 
   
4. x_data = [1.0, 2.0, 3.0]
   
5. y_data = [2.0, 4.0, 6.0]
   . l9 O1 v1 @. H, e$ L7 c( q0 ^- f
6. 
   
7. w = 1.0
   ' F+ x4 u- [3 @+ ^$ N5 N
8. 
   
9. 
   0 o/ D! z/ t  P
10. def forward(x):
    6 S& }" k& Y( C2 s, O) `- `
11.     return x * w
    
12. 
    $ n- b7 a, m4 ?! Z) Q% j; }
13. 
    # _2 W, h. ]. `( Q( U$ ]
14. def cost(xs, ys):
      ~3 P* K. p' D; W# F  s4 y
15.     cost = 0
    $ k4 g$ X$ A; L2 C* s% w
16.     for x, y in zip(xs, ys):
    8 @. Z1 [' d9 O+ j( s. Y
17.         y_pred = forward(x)
    
18.         cost += (y_pred - y) ** 2
    
19.         return cost / len(xs)
    ( u. n, y( l: w3 P
20. 
      Y3 B5 }) F; Y2 o& I# h3 a- s
21. 
    
22. def gradient(xs, ys):
    
23.     grad = 0
    
24.     for x, y in zip(xs, ys):
    6 v% G+ Q# {' U% ]: Z, a2 f
25.         grad += 2 * x * (x * w - y)
    
26.         return grad / len(xs)
    
27. 
    8 T$ {0 \% Z. j1 |* |, f
28. 
    
29. print('训练前的预测', 4, forward(4))
    
30. 
    
31. cost_list = []
    5 P6 W. V) m- p7 k& b
32. epoch_list = []
    
33. # 开始训练(100次训练)
    
34. for epoch in range(150):
    
35.     epoch_list.append(epoch)
    ! u+ o: j* y( X! Z+ d
36.     cost_val = cost(x_data, y_data)
    
37.     cost_list.append(cost_val)
    5 L( x) ^& f* f$ k6 e5 q9 i
38.     grad_val = gradient(x_data, y_data)
    
39.     w -= 0.1 * grad_val
    6 ~) M- N5 v; Y! L: u0 Y4 F
40.     print('Epoch:', epoch, 'w=', w, 'loss=', cost_val)
    ) D4 D( \9 G7 H9 o0 B- f# d! E
41. 
    
42. print('训练之后的预测', 4, forward(4))
    $ k9 r% y' T+ t2 V
43. 
    % j  Q- s5 z. y9 @( [3 O
44. # 画图
    # s7 P0 t4 T+ ~/ a  B/ {- _5 q* h
45. 
    . j6 Q% D! X2 t* `6 \$ J
46. plt.plot(epoch_list, cost_list)
    . {, T# t+ H) i, E2 q2 Y
47. plt.ylabel('Cost')
    ( U5 d3 }, n1 Y! [0 t& E5 J+ Q! a
48. plt.xlabel('Epoch')
    ! F; U, I+ U6 Q, B1 [$ `
49. plt.show()

复制代码

运行截图如图所示：

( r" h, Y/ r  Q, P8 \2 R Epoch是训练次数，Cost是误差，可以看到随着训练次数的增加，误差越来越小，趋近于0.
$ }; k; b, Q% \  |随机梯度下降算法

       随机梯度下降算法与梯度下降算法的不同之处在于，随机梯度下降算法不再计算损失函数之和的导数，而是随机选取任一随机函数计算导数，随机的决定 下次的变化趋势，具体公式变化如图：

- d. @2 c+ B9 N3 M  z具体代码如下：

1. import numpy as np
   
2. import matplotlib.pyplot as plt
   
3. 
   
4. x_data = [1.0, 2.0, 3.0]
   
5. y_data = [2.0, 4.0, 6.0]
   
6. 
   $ ~' u0 N4 |, N" B8 c( G5 n0 {2 v
7. w = 1.0
   ) y8 S6 j" N+ S- I8 P) K
8. 
   
9. 
   : P0 L0 B, k3 R4 M* N
10. def forward(x):
    
11.     return x * w
    
12. 
    
13. 
    , |1 N; j9 N* m- u8 M
14. def loss(x, y):
    0 m9 A: |1 L1 H9 Y; t  J
15.     y_pred = forward(x)
    
16.     return (y_pred - y) ** 2
    
17. 
    
18. 
    - }3 Y, O  A8 _) H3 w
19. def gradient(x, y):
    
20.     return 2 * x * (x * w - y)
    * x$ y' u0 N* s, h1 f
21. 
    
22. 
    
23. print('训练前的预测', 4, forward(4))
    
24. 
    4 X; u3 v! {2 N$ F% f
25. epoch_list = []
    
26. loss_list = []
    ; v7 a) y. ]5 g. V' I
27. # 开始训练(100次训练)
    
28. for epoch in range(100):
    - a4 o5 M! p4 B
29.     for x, y in zip(x_data, y_data):
    : n! e5 t" E) n1 f
30. 
    % f+ f. E& S% m9 w( A
31.         grad = gradient(x, y)
    5 Q: \2 s" O) @
32.         w -= 0.01 * grad
    
33.         l = loss(x, y)
    
34.         loss_list.append(l)
    + A" s8 k) r; a# u1 n2 w/ H# C  g
35.         epoch_list.append(epoch)
    
36.         print('Epoch:', epoch, 'w=', w, 'loss=', l)
    
37. 
    
38. print('训练之后的预测', 4, forward(4))
    ( J) s& H8 S' d8 C  s! G
39. 
    
40. # 画图
    ' h6 L' g' y6 ?* g5 {7 U
41. plt.plot(epoch_list, loss_list)
    ; J* G% U2 H3 D
42. plt.ylabel('Loss')
    
43. plt.xlabel('Epoch')
    
44. plt.grid(1)
    
45. plt.show()

复制代码

运行截图如图所示
+ m  S3 B3 d9 q& q0 [) O7 e
# }4 ^% F+ |' ]5 \0 v& v! a
% }4 g( A% D' B! m1 |; C

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5