梯度消失和梯度爆炸问题及其解决方法详解

梯度不稳定概念和解决方法 梯度消失和梯度爆炸问题 概念 原理详解 解决方法 更改激活函数（Relu、Leaky-Relu、P-Relu等） 权重初始化 加入BN层（Batch Normalization） 梯度剪切、权重正则（针对梯度爆炸） 使用预训练模型进行finetue 使用ResNet残差结构 梯度消失和梯度爆炸问题 概念 梯度消失是由于随着网络深度的加深，网络反向传播的小于1的导数通过逐层

>>阅读原文<<