训练神经网络的各种优化算法

2744557306

梯度下降是最基本但使用最多的优化算法。它在线性回归和分类算法中大量使用。神经网络中的反向传播也使用梯度下降算法。
; y& F/ h. R3 H! u; f
: |2 S# m6 r! _0 ~, S梯度下降是一种一阶优化算法，它依赖于损失函数的一阶导数。它计算应该改变权重的方式，以便函数可以达到最小值。通过反向传播，损失从一层转移到另一层，模型的参数（也称为权重）根据损失进行修改，从而使损失最小化。
6 p" m! g0 P6 o$ H# h% b* Y7 p  J
优点：

容易计算。
易于实施。
容易理解。
4 K6 s1 o  c1 B3 {. z缺点：
4 N* U! o6 B& p# q0 k- z0 S
) ]3 k" e; |- k" b, m) `$ M9 ^9 K2 ?可能陷入局部最小值。
8 G% K" c  i6 V在计算整个数据集的梯度后，权重会发生变化。因此，如果数据集太大，可能需要数年时间才能收敛到最小值。
0 H# d+ N/ r! S: b" p需要大内存来计算整个数据集的梯度
* a' q; Z/ ]5 r' c随机梯度下降
1 F0 T9 b3 H( J6 x$ {- M它是梯度下降的变体。它尝试更频繁地更新模型的参数。在这种情况下，模型参数在计算每个训练示例的损失后会发生变化。因此，如果数据集包含 1000 行，SGD 将在数据集的一个循环中更新模型参数 1000 次，而不是像梯度下降中那样更新一次。
6 R0 s! u' N, |
θ=θ−α⋅∇J(θ;x(i);y(i)) ，其中 {x(i) ,y(i)} 是训练样本

由于模型参数更新频繁，参数在不同强度下具有较大的方差和损失函数波动。

优点：
6 C: q7 r7 n1 N
因此，频繁更新模型参数可以在更短的时间内收敛。
需要更少的内存，因为不需要存储损失函数的值。
可能会得到新的最小值。
缺点：

模型参数的高方差。
, B, h/ G4 U* Q+ G, }即使在达到全局最小值后也可能射击。
( z  r  ~4 F, i9 I$ l要获得与梯度下降相同的收敛性，需要慢慢降低学习率的值。
小批量梯度下降
1 ~$ a) e9 ^8 [; N/ R% m8 \( q它是梯度下降算法所有变体中最好的。它是对 SGD 和标准梯度下降的改进。它在每批次后更新模型参数。因此，数据集被分成不同的批次，每批次之后，参数都会更新。

' a' q! P! g1 z& @6 Fθ=θ−α⋅∇J(θ; B(i))，其中 {B(i)} 是训练样本的批次。
( L) v) e; o- b' j: ]  s9 l
# J" J" o% j; i; W5 Y优点：

: p: p' P7 s8 t! S3 k0 ]& x经常更新模型参数并且方差也较小。
需要中等的内存
所有类型的梯度下降都有一些挑战：

选择学习率的最佳值。如果学习率太小，梯度下降可能需要很长时间才能收敛。
对所有参数都有一个恒定的学习率。可能有一些参数我们不想以相同的速率改变。
# h- A0 i$ g% ]' [可能会陷入局部极小值。
; R- N6 o8 E: g7 F# N! C其它优化算法
0 G7 g) Y4 `. ^  l4 C具体我就不再详细介绍，其它优化器如下：

Momentum
Nesterov Accelerated Gradient
8 Q' e9 G5 P" r/ }3 `& B  x* F% zAdagrad
5 }$ o2 G, Z9 q4 u0 i! w9 oAdaDelta
Adam
" t. M1 a' U% y5 E  g  C各个优化算法比较动态图
& _  @6 _8 a4 Y7 R( {& |4 M) B, q) K


8 r5 y5 h  L# m# i! B* N