学习笔记5-梯度爆炸和梯度消失（K折交叉验证）

1、梯度消失、梯度爆炸 梯度消失和梯度爆炸 考虑到环境因素的其他问题 1.1 本次课程主要任务 了解学习梯度消失与梯度爆炸产生的原因以及怎么样解决。 考虑到环境因素的其他问题（协变量偏移，标签偏移，概念偏移） 1.2 学习收获总结 当神经网络的层数较多时，模型的数值稳定性容易变差。容易发生梯度消失以及梯度爆炸。 随机初始化可以有效减缓梯度爆炸。 协变量偏移：用A训练集训练的模型，被用于B测试集。（

>>阅读原文<<