训练神经网络的各种优化算法

2744557306

梯度下降是最基本但使用最多的优化算法。它在线性回归和分类算法中大量使用。神经网络中的反向传播也使用梯度下降算法。

/ E( P* u0 z2 I0 e. u梯度下降是一种一阶优化算法，它依赖于损失函数的一阶导数。它计算应该改变权重的方式，以便函数可以达到最小值。通过反向传播，损失从一层转移到另一层，模型的参数（也称为权重）根据损失进行修改，从而使损失最小化。
$ c( q3 P3 k3 n5 V( o, Q
' l# v3 @# i* w; j+ B# h优点：
  S: t$ L8 _# Q4 b
) Q  b9 I. f8 y8 p) a) Q( v容易计算。
& Z9 s& h  i, x' H4 g: q3 Q$ V易于实施。
4 x" @6 ^% L: D, K4 f容易理解。
" f8 d8 a# z9 Z' k( S缺点：
* c" S! P* I3 g
0 d. Z4 D% B  K4 D# ~; |可能陷入局部最小值。
在计算整个数据集的梯度后，权重会发生变化。因此，如果数据集太大，可能需要数年时间才能收敛到最小值。
5 a# Q  n; |1 F8 R: Z3 T  ^需要大内存来计算整个数据集的梯度
随机梯度下降
它是梯度下降的变体。它尝试更频繁地更新模型的参数。在这种情况下，模型参数在计算每个训练示例的损失后会发生变化。因此，如果数据集包含 1000 行，SGD 将在数据集的一个循环中更新模型参数 1000 次，而不是像梯度下降中那样更新一次。

θ=θ−α⋅∇J(θ;x(i);y(i)) ，其中 {x(i) ,y(i)} 是训练样本

由于模型参数更新频繁，参数在不同强度下具有较大的方差和损失函数波动。
" A% a. L1 ~4 w) |! O
优点：
4 n9 f1 _8 d" I- i! H2 V7 h# \
) V# H5 R$ L% X! z因此，频繁更新模型参数可以在更短的时间内收敛。
  s; h$ H9 h# ]; X6 C需要更少的内存，因为不需要存储损失函数的值。
* W2 {" v( F$ B5 C* F可能会得到新的最小值。
缺点：

模型参数的高方差。
3 W+ f) T# T% S9 ^! Q! V( k5 e/ S即使在达到全局最小值后也可能射击。
; z6 U6 l- u" h1 ~7 K5 L要获得与梯度下降相同的收敛性，需要慢慢降低学习率的值。
小批量梯度下降
它是梯度下降算法所有变体中最好的。它是对 SGD 和标准梯度下降的改进。它在每批次后更新模型参数。因此，数据集被分成不同的批次，每批次之后，参数都会更新。
5 d; g4 M5 x0 |" H4 Q
$ M7 ]6 o- a9 J0 pθ=θ−α⋅∇J(θ; B(i))，其中 {B(i)} 是训练样本的批次。
" D( k: N8 M6 r  M2 }7 m
) F' K! r. D6 U) g. _5 g优点：

经常更新模型参数并且方差也较小。
需要中等的内存
所有类型的梯度下降都有一些挑战：

选择学习率的最佳值。如果学习率太小，梯度下降可能需要很长时间才能收敛。
对所有参数都有一个恒定的学习率。可能有一些参数我们不想以相同的速率改变。
可能会陷入局部极小值。
3 j4 N+ U) S! d/ X" x: Q其它优化算法
具体我就不再详细介绍，其它优化器如下：
" h4 i7 g# E+ N/ P
Momentum
Nesterov Accelerated Gradient
Adagrad
1 T1 F, E' j8 ^$ v3 y, S7 aAdaDelta
! c, U. x/ b! bAdam
各个优化算法比较动态图


6 S! N0 b% t. ~7 P) i0 @/ v% a4 v, Y
, ?. q4 L  P# u: v& z0 Z