深度神经网络的缺点

2744557306

• 00001. 梯度消失， 梯度爆炸问题。 在传统的深度神经网络中，由于存在多层堆叠的非线性变换，梯度很容易在反向传播过程中逐层缩小或变得非常大，导致训练不稳定、难以收敛。这被称为梯度消失和梯度爆炸问题。梯度消失是指梯度在网络层间逐渐减小至接近零的现象，导致浅层网络层的权重几乎不更新，使得网络无法学习有效的特征表示。梯度爆炸则是指梯度变得非常大，导致模型参数更新过于剧烈，使得模型变得不稳定且无法利用训练数据进行良好的学习
  00002. 过拟合问题。随着网络层数的加深，参数变多，神经网络的拟合能力变得很强， 这也就意味着其表达出来的函数会更复杂， 而如果对于简单问题如二分类问题， 采用过于复杂的函数， 是极容易导致过拟合的。而对于复杂问题如图像问题以及语言问题， 由于其本身的复杂度， 网络的深度一般是越深， 效果越好。
  00003. 退化问题。随着网络层数的增加， 会出现退化问题， 该问题的本质是由于出现了信息丢失而产生的过拟合问题。 该问题最初是在CNN网络中提出的， 对于CNN而言， 每一层在通过卷积核后都会产生一种类似有损压缩的效果， 如果卷积多次， 不可避免的导致由于抽象程度过高以及信息丢失， 最终导致训练误差变大， 最终导致退化问题。
• 
  

4 w* J$ z6 X% [. `% I8 E
2 P: {$ M& L$ w& ~% T