梯度消失和梯度爆炸

● 每周一言 时间，是成长的必要代价。 导语 在机器学习模型训练的常见问题中，除了会遇到过拟合、欠拟合问题，还有一类问题也经常出现，那便是 梯度问题。梯度问题具体是什么？又有哪些应对之法？ 梯度问题 梯度问题出现在深度神经网络的残差反向传播过程当中，原因是神经网络通过链式法则求解不同层的梯度，中间的连乘操作有可能导致残差计算的不稳定性，使得模型训练失效。梯度问题具体有两种表现形式：梯度消失 和 梯

>>阅读原文<<