梯度消失和梯度爆炸
梯度消失和梯度爆炸 首先我们先说一下DNN中的梯度消失和梯度爆炸。 DNN中的梯度消失和梯度爆炸是由于激活函数引起的，主要是sigmoid函数。 因为在反向传播的过程中我们需要对激活函数进行求导，而sigmoid激活函数的导数如下图： 所以如果网络足够长的话，经过多个激活函数的导数以后就会出现梯度接近于0的情况。 梯度爆炸是由于权重参数初始化太大时，权重参数与激活函数的导数相乘导致梯度爆炸的出现。
相关文章
- 1. 梯度消失和梯度爆炸
- 2. 梯度消失 + 梯度爆炸
- 3. 梯度消失、梯度爆炸
- 4. 梯度消失与梯度爆炸
- 5. 梯度爆炸与梯度消失
- 6. [nlp] 梯度消失＆梯度爆炸
- 7. 梯度消失/梯度爆炸
- 8. 梯度消失 梯度爆炸
- 9. 梯度消失或者梯度爆炸
- 10. 梯度消失与爆炸
- 更多相关文章...
- • PHP 获取图像宽度与高度 - PHP参考手册
- • PHP imagecolorallocatealpha - 为一幅图像分配颜色和透明度 - PHP参考手册
- • 算法总结-广度优先算法
- • 算法总结-深度优先算法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 梯度消失和梯度爆炸
- 2. 梯度消失 + 梯度爆炸
- 3. 梯度消失、梯度爆炸
- 4. 梯度消失与梯度爆炸
- 5. 梯度爆炸与梯度消失
- 6. [nlp] 梯度消失＆梯度爆炸
- 7. 梯度消失/梯度爆炸
- 8. 梯度消失 梯度爆炸
- 9. 梯度消失或者梯度爆炸
- 10. 梯度消失与爆炸