训练神经网络的各种优化算法

2744557306

梯度下降是最基本但使用最多的优化算法。它在线性回归和分类算法中大量使用。神经网络中的反向传播也使用梯度下降算法。

/ E/ D# A( t: _8 ^3 h梯度下降是一种一阶优化算法，它依赖于损失函数的一阶导数。它计算应该改变权重的方式，以便函数可以达到最小值。通过反向传播，损失从一层转移到另一层，模型的参数（也称为权重）根据损失进行修改，从而使损失最小化。
$ \2 Z6 D1 l: z
优点：
9 B& R  T, @% k
( F" ]4 k) X5 K- x6 Y- P容易计算。
& j) @1 ?+ }4 v2 |" z& v: m4 y  O( ?( |* E易于实施。
容易理解。
缺点：
- s7 H( ~, e, Z3 P( E. ]
可能陷入局部最小值。
在计算整个数据集的梯度后，权重会发生变化。因此，如果数据集太大，可能需要数年时间才能收敛到最小值。
需要大内存来计算整个数据集的梯度
随机梯度下降
它是梯度下降的变体。它尝试更频繁地更新模型的参数。在这种情况下，模型参数在计算每个训练示例的损失后会发生变化。因此，如果数据集包含 1000 行，SGD 将在数据集的一个循环中更新模型参数 1000 次，而不是像梯度下降中那样更新一次。
% R+ p" U% |6 O7 p  W
( W; i' ]& l( Y) Wθ=θ−α⋅∇J(θ;x(i);y(i)) ，其中 {x(i) ,y(i)} 是训练样本

由于模型参数更新频繁，参数在不同强度下具有较大的方差和损失函数波动。
) M3 b- d* n$ B2 k4 W
优点：
9 R% @6 t/ `. k: \& \4 D% _
9 X! H- [2 m+ K因此，频繁更新模型参数可以在更短的时间内收敛。
需要更少的内存，因为不需要存储损失函数的值。
可能会得到新的最小值。
9 ~+ ]5 z" q3 w) P  a) I1 W缺点：
* r+ J9 a. B( ]" L
模型参数的高方差。
. M$ P8 ?3 s" L3 d  g! Q% Y  Z即使在达到全局最小值后也可能射击。
  H& ~# G% j0 M  Z要获得与梯度下降相同的收敛性，需要慢慢降低学习率的值。
小批量梯度下降
它是梯度下降算法所有变体中最好的。它是对 SGD 和标准梯度下降的改进。它在每批次后更新模型参数。因此，数据集被分成不同的批次，每批次之后，参数都会更新。
! B2 v, q( p, o  @
θ=θ−α⋅∇J(θ; B(i))，其中 {B(i)} 是训练样本的批次。

# j& x* F4 D5 ^9 {/ F优点：

经常更新模型参数并且方差也较小。
需要中等的内存
1 _5 N  F1 h; s/ _0 a5 E7 v所有类型的梯度下降都有一些挑战：
. Y- s* c! q, K/ A4 q2 f0 J$ s% R6 J8 e
9 W1 b+ r0 @$ {! O+ s选择学习率的最佳值。如果学习率太小，梯度下降可能需要很长时间才能收敛。
3 |, d* u. S1 |4 J, C0 P对所有参数都有一个恒定的学习率。可能有一些参数我们不想以相同的速率改变。
( f# k8 {+ g7 U( w! I/ \可能会陷入局部极小值。
+ Q8 `" Z% ~2 m) h" M其它优化算法
. O$ ~+ x; R4 ]具体我就不再详细介绍，其它优化器如下：

, D: J4 _% V+ [) E4 t) bMomentum
Nesterov Accelerated Gradient
* ?* A& p- h6 xAdagrad
# U: |- }7 W, z* q) J+ hAdaDelta
3 z0 g" }) D9 x  X( a  {& G/ Q) kAdam
, l0 S2 n! D) @$ ]0 ]各个优化算法比较动态图
8 h4 G' M9 v, [) z! X8 I- y' q
$ b" ^% W/ F% X# |  d' E
% v6 S/ G/ ~1 U5 \( Q/ {# V( P( ]
% b% a, K: C6 D( f, `! x* A