梯度爆炸的解决方法: clip gradient

转自：https://blog.csdn.net/u010814042/article/details/76154391 1.梯度爆炸的影响 在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示     损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导

>>阅读原文<<