神经网络梯度与归一化问题总结+highway network、ResNet的思考

这是一篇水货写的笔记，希望路过的大牛可以指出其中的错误，带蒟蒻飞啊~   一、    梯度消失/梯度爆炸的问题 首先来说说梯度消失问题产生的原因吧，虽然是已经被各大牛说烂的东西。不如先看一个简单的网络结构，   可以看到，如果输出层的值仅是输入层的值与权值矩阵W的线性组合，那么最终网络最终的输出会变成输入数据的线性组合。这样很明显没有办法模拟出非线性的情况。记得神经网络是可以拟合任意函数的。好了，

>>阅读原文<<