- 在线时间
- 471 小时
- 最后登录
- 2025-8-11
- 注册时间
- 2023-7-11
- 听众数
- 4
- 收听数
- 0
- 能力
- 0 分
- 体力
- 7603 点
- 威望
- 0 点
- 阅读权限
- 255
- 积分
- 2861
- 相册
- 0
- 日志
- 0
- 记录
- 0
- 帖子
- 1160
- 主题
- 1175
- 精华
- 0
- 分享
- 0
- 好友
- 1
该用户从未签到
 |
重新设计网络层更少的网络,在循环神经网络中,训练过程中在更少的先前时间步上进行更新。(沿时间的截断反方向传播)来缓解梯度爆炸问题。使用ReLU激活函数使用LSTM网络
8 F f- V" Q8 T rLSTM(长短期记忆),是一种特殊的RNN, 在循环神经网络中,梯度爆炸发生可能是因为某种网络的训练本身存在不稳定性,如随时间的反向传播本质上是将循环网络转换成深层神经网络。
" @$ s! U! w. z" S: x' t) `- T' V使用LSTM单元和相关的门类神经元结构可以减少梯度爆炸问题。使用梯度截断, 在训练过程中检查和限制梯度的大小,当梯度超过阈值就截断。对权重使用正则化。惩罚产生较大权重的损失函数。
; |1 h- D* }& \( O0 f K# [1 r6 _' o9 y/ A' h% \) o* H% H( |' R7 j
: n; h5 N' n4 F5 m
! T& z5 f) U2 Y1 D F9 J! i
! u! D$ C( X. E9 S' h, _8 ~2 \
|
zan
|