数学建模社区-数学中国

标题: PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例 [打印本页]

---

作者: 2744557306    时间: 2023-11-29 11:30
标题: PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例

, r! E2 j! p) Z' H: I4 S; u根据化简之后的公式，就可以编写代码，对 进行训练，具体代码如下：

1. import numpy as np
   
2. import matplotlib.pyplot as plt
   
3. 
   & P/ ~$ b/ E' _% `; \  Y
4. x_data = [1.0, 2.0, 3.0]
   
5. y_data = [2.0, 4.0, 6.0]
   ' A0 G) |# T3 e" I  v3 _6 v8 f
6. 
   
7. w = 1.0
   ' M: d4 A9 B) g# C/ a* \4 ~
8. 
   1 t/ H: W& o. y+ ~) ^: p
9. 
   $ i. ^- p1 J" x' j2 M+ D9 M
10. def forward(x):
    
11.     return x * w
    
12. 
    
13. 
    
14. def cost(xs, ys):
    : w& V& C( K5 e: K$ N4 i
15.     cost = 0
    % Y4 I3 s: Z; [1 f* `
16.     for x, y in zip(xs, ys):
    
17.         y_pred = forward(x)
    
18.         cost += (y_pred - y) ** 2
      h% l8 r, H3 i4 Y
19.         return cost / len(xs)
    
20. 
    
21. 
    5 ^7 W2 }7 Z  j9 k$ t
22. def gradient(xs, ys):
    
23.     grad = 0
    3 A+ U$ S$ t* w. U* i
24.     for x, y in zip(xs, ys):
    
25.         grad += 2 * x * (x * w - y)
    
26.         return grad / len(xs)
    9 R. o: d2 @, [9 C5 t
27. 
    ; @) ~% L: a4 x5 K
28. 
    
29. print('训练前的预测', 4, forward(4))
    
30. 
    : g  [$ p$ ~) \3 {! v5 |* C
31. cost_list = []
    9 C" R" G% D3 x5 z$ F
32. epoch_list = []
    
33. # 开始训练(100次训练)
    
34. for epoch in range(150):
    . O5 C1 |) w- F8 E7 b" [& J
35.     epoch_list.append(epoch)
    
36.     cost_val = cost(x_data, y_data)
    , F9 z% ^( k2 T
37.     cost_list.append(cost_val)
    
38.     grad_val = gradient(x_data, y_data)
    , g0 ?, J+ v2 y% u- N9 B
39.     w -= 0.1 * grad_val
    2 }  `& Y+ k. B5 M. A
40.     print('Epoch:', epoch, 'w=', w, 'loss=', cost_val)
    
41. 
    + |( t* }" z1 q) N! u9 o
42. print('训练之后的预测', 4, forward(4))
    
43. 
    
44. # 画图
    . z! u- m0 v. x( V
45. 
    
46. plt.plot(epoch_list, cost_list)
    
47. plt.ylabel('Cost')
    $ _! [: `6 J  `
48. plt.xlabel('Epoch')
    9 p# x" e! b: I) @8 c
49. plt.show()

复制代码

运行截图如图所示：
5 k! ~1 s$ Y' I# B, h& X% [- z; u
3 ^* a  o9 ]  @; m2 X  z, P Epoch是训练次数，Cost是误差，可以看到随着训练次数的增加，误差越来越小，趋近于0.
6 E. K  E9 z; V$ C3 Y3 a随机梯度下降算法

       随机梯度下降算法与梯度下降算法的不同之处在于，随机梯度下降算法不再计算损失函数之和的导数，而是随机选取任一随机函数计算导数，随机的决定 下次的变化趋势，具体公式变化如图：

9 [- B* S- o% B" X4 d# f$ O* |具体代码如下：

1. import numpy as np
   7 y4 p! B) E7 W% I0 L. c
2. import matplotlib.pyplot as plt
   ; M; c6 r) }. n# X* ^
3. 
   
4. x_data = [1.0, 2.0, 3.0]
   
5. y_data = [2.0, 4.0, 6.0]
   
6. 
   / ?. X/ J0 S2 M: q/ J; I
7. w = 1.0
   3 y* T  l- V! k; D4 y7 v( A: h* }
8. 
   2 K: R8 c7 u/ B8 H& c
9. 
   ) J5 N6 R  Q4 _$ s  R9 M4 \
10. def forward(x):
    
11.     return x * w
    
12. 
    & I* Y# i0 J  l
13. 
    : A* n( q+ l/ s7 z
14. def loss(x, y):
    
15.     y_pred = forward(x)
    
16.     return (y_pred - y) ** 2
    & |4 J  _' V, p- |0 H# ^# U! D  @
17. 
    - ^/ _9 T- U5 q  f4 F/ R
18. 
    # y4 [4 t3 l  N$ c: j2 U
19. def gradient(x, y):
    ; T1 G( ]  a' T- z6 n
20.     return 2 * x * (x * w - y)
    
21. 
    
22. 
    9 P2 c( d3 W4 c; ~$ a, u2 F
23. print('训练前的预测', 4, forward(4))
      T0 a/ [) U( Y. V
24. 
    + Z2 {8 u7 _% @0 ^
25. epoch_list = []
    - {% Q0 N  M7 W$ q7 k
26. loss_list = []
    : O+ T. ?  G( c+ o) G4 ?
27. # 开始训练(100次训练)
    4 E. Z* W! b( p, X! w3 n8 N
28. for epoch in range(100):
    0 O1 Q4 F6 Y# m+ O  \, Q- Q
29.     for x, y in zip(x_data, y_data):
    
30. 
    6 |& H1 a2 ^/ p) w" }
31.         grad = gradient(x, y)
    
32.         w -= 0.01 * grad
    + S6 X6 G) W& R0 ~2 _/ R
33.         l = loss(x, y)
    
34.         loss_list.append(l)
    
35.         epoch_list.append(epoch)
    
36.         print('Epoch:', epoch, 'w=', w, 'loss=', l)
    
37. 
    + u. i6 y* E, w( V- n" Z  Z' N  S
38. print('训练之后的预测', 4, forward(4))
    / i* t. R" t+ J0 A3 Q/ y$ G
39. 
    
40. # 画图
    
41. plt.plot(epoch_list, loss_list)
    5 w9 \+ i' c0 }# P5 ~6 C
42. plt.ylabel('Loss')
    : |) o9 n/ Y7 }6 x3 o! {5 R- a
43. plt.xlabel('Epoch')
    
44. plt.grid(1)
    . {' P4 x+ ~5 K8 `* _
45. plt.show()

复制代码

运行截图如图所示
$ z/ A1 x/ Q, W$ u" l' V+ R6 S

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5