QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2770|回复: 0
打印 上一主题 下一主题

[已经解决] 模型出现梯度爆炸如何解决

[复制链接]
字体大小: 正常 放大

1175

主题

4

听众

2861

积分

该用户从未签到

跳转到指定楼层
1#
发表于 2023-7-21 11:17 |只看该作者 |倒序浏览
|招呼Ta 关注Ta
重新设计网络层更少的网络,在循环神经网络中,训练过程中在更少的先前时间步上进行更新。(沿时间的截断反方向传播)来缓解梯度爆炸问题。使用ReLU激活函数使用LSTM网络
8 F  f- V" Q8 T  rLSTM(长短期记忆),是一种特殊的RNN, 在循环神经网络中,梯度爆炸发生可能是因为某种网络的训练本身存在不稳定性,如随时间的反向传播本质上是将循环网络转换成深层神经网络。
" @$ s! U! w. z" S: x' t) `- T' V使用LSTM单元和相关的门类神经元结构可以减少梯度爆炸问题。使用梯度截断, 在训练过程中检查和限制梯度的大小,当梯度超过阈值就截断。对权重使用正则化。惩罚产生较大权重的损失函数。
; |1 h- D* }& \( O0 f  K# [1 r6 _' o9 y/ A' h% \) o* H% H( |' R7 j
: n; h5 N' n4 F5 m
! T& z5 f) U2 Y1 D  F9 J! i
! u! D$ C( X. E9 S' h, _8 ~2 \
zan
转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
您需要登录后才可以回帖 登录 | 注册地址

qq
收缩
  • 电话咨询

  • 04714969085
fastpost

关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

手机版|Archiver| |繁體中文 手机客户端  

蒙公网安备 15010502000194号

Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

GMT+8, 2025-8-14 09:17 , Processed in 0.305788 second(s), 49 queries .

回顶部