数学建模社区-数学中国

标题: PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例 [打印本页]

---

作者: 2744557306    时间: 2023-11-29 11:30
标题: PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例

2 Q* S- I6 V3 V5 o: t- ^. q根据化简之后的公式，就可以编写代码，对 进行训练，具体代码如下：

1. import numpy as np
   9 q+ ?: K2 F' p4 z3 X; b/ k
2. import matplotlib.pyplot as plt
   
3. 
   . u) E0 c' q; r6 v" H  s
4. x_data = [1.0, 2.0, 3.0]
   
5. y_data = [2.0, 4.0, 6.0]
   ) e: `* I* {1 Y) I' |' T& V- t" k
6. 
   1 u: x/ u9 f3 w% k) m8 o
7. w = 1.0
   $ R# d2 T3 L7 r
8. 
   ' K* Q+ d; u- C( Y, J" R
9. 
   6 @; y* Q7 v/ \5 {% V
10. def forward(x):
    3 n/ V4 V, J; M1 P: N- ^3 X$ r( N
11.     return x * w
    9 ]  }( j2 u- ~. k
12. 
    ( l, F- N1 _1 C% J1 Z4 C
13. 
    ; q1 t/ ?) s) N) y" |
14. def cost(xs, ys):
    2 O, ^- e8 q6 y2 S7 ~
15.     cost = 0
    
16.     for x, y in zip(xs, ys):
    " J# ]/ l/ d* j5 m: C4 _+ a
17.         y_pred = forward(x)
    
18.         cost += (y_pred - y) ** 2
    
19.         return cost / len(xs)
    
20. 
    1 x. j9 }* v% s. V9 @' E/ J5 D5 h
21. 
    / B5 e& t0 H" b1 m! Z
22. def gradient(xs, ys):
    ( y0 r" l9 W- b- ~# e; F: J
23.     grad = 0
    % h* x3 b$ Y3 a1 u
24.     for x, y in zip(xs, ys):
    
25.         grad += 2 * x * (x * w - y)
    5 \* h; ~9 r0 q& _2 o
26.         return grad / len(xs)
    : N4 g1 z, b$ W
27. 
    
28. 
    
29. print('训练前的预测', 4, forward(4))
    
30. 
    
31. cost_list = []
    
32. epoch_list = []
    , r! Q; W' w5 C8 [) C. P
33. # 开始训练(100次训练)
    % J! c# ?8 o+ y/ v
34. for epoch in range(150):
    
35.     epoch_list.append(epoch)
    
36.     cost_val = cost(x_data, y_data)
    
37.     cost_list.append(cost_val)
    5 ?4 p2 ], T8 ^! C% Y
38.     grad_val = gradient(x_data, y_data)
    ; C" c, c8 u7 h
39.     w -= 0.1 * grad_val
    
40.     print('Epoch:', epoch, 'w=', w, 'loss=', cost_val)
    
41. 
    
42. print('训练之后的预测', 4, forward(4))
    % e" S! d3 ^/ N1 ?( k  i9 k7 o
43. 
    5 P$ K4 B! ~) ]' D4 O
44. # 画图
    
45. 
    8 t, i- Z3 [* p( a" X" v% |9 _; Y! b
46. plt.plot(epoch_list, cost_list)
    7 j" K3 s  Y( K6 w$ B. C% v+ l
47. plt.ylabel('Cost')
    # q8 c  {0 U/ n, I6 M  `( j- S
48. plt.xlabel('Epoch')
    
49. plt.show()

复制代码

运行截图如图所示：
& v1 k" F% d0 P4 \* i$ Z+ t( y- m
Epoch是训练次数，Cost是误差，可以看到随着训练次数的增加，误差越来越小，趋近于0.
( Q+ Z" h. s, @; ]随机梯度下降算法

       随机梯度下降算法与梯度下降算法的不同之处在于，随机梯度下降算法不再计算损失函数之和的导数，而是随机选取任一随机函数计算导数，随机的决定 下次的变化趋势，具体公式变化如图：

具体代码如下：

1. import numpy as np
   * j/ I+ f$ N' }" B! x2 g, A8 o
2. import matplotlib.pyplot as plt
   1 S- I6 p3 L1 _6 {. y
3. 
   
4. x_data = [1.0, 2.0, 3.0]
   
5. y_data = [2.0, 4.0, 6.0]
   
6. 
   
7. w = 1.0
   
8. 
   3 D& c- I; H" O# r% y4 k
9. 
   
10. def forward(x):
    - n" B% `  k$ a/ z$ X- m
11.     return x * w
    
12. 
    
13. 
    / j, Z7 Y* R; m
14. def loss(x, y):
    
15.     y_pred = forward(x)
    
16.     return (y_pred - y) ** 2
    
17. 
    - `, x" q, L1 E% `: O+ k  O
18. 
    ' T2 ?% G  i2 {7 P, D
19. def gradient(x, y):
    . F, u$ I2 y1 }. C$ p
20.     return 2 * x * (x * w - y)
    
21. 
    ( X6 @  L% A- L5 U
22. 
    
23. print('训练前的预测', 4, forward(4))
    
24. 
    & h8 I+ u( O$ I# s9 ]- V
25. epoch_list = []
    
26. loss_list = []
    0 u, r0 Z$ ]& ?( ~9 T
27. # 开始训练(100次训练)
    
28. for epoch in range(100):
    
29.     for x, y in zip(x_data, y_data):
      `$ j! O- D0 p  a. J
30. 
    * ?+ X) L/ J- ]
31.         grad = gradient(x, y)
    9 z! E& C" t  s( e) N
32.         w -= 0.01 * grad
    9 r6 J/ X' Z0 L$ Y2 n
33.         l = loss(x, y)
    8 S' `. N+ s! [$ `3 C, D# @6 ?4 |
34.         loss_list.append(l)
    
35.         epoch_list.append(epoch)
    
36.         print('Epoch:', epoch, 'w=', w, 'loss=', l)
    - A6 }. e; V2 U! G# J8 S: u' y
37. 
    8 ^9 K' m3 b4 G9 Q  \
38. print('训练之后的预测', 4, forward(4))
    4 ~2 I2 {% o+ u
39. 
    
40. # 画图
    
41. plt.plot(epoch_list, loss_list)
    + |% |& I8 p; r  Q1 n" D. [
42. plt.ylabel('Loss')
    
43. plt.xlabel('Epoch')
    
44. plt.grid(1)
    
45. plt.show()

复制代码

运行截图如图所示
5 n% l& v7 y6 n

% P* }4 T6 F" h# c& |

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5