深度学习小trick收集

梯度消失/梯度爆炸的解决方案 首先，梯度消失与梯度爆炸的根本缘由是基于bp的反向传播算法 且上述的反向传播错误小于1/4 html 总的来讲就是，更新w和b的时候，更新的步长与learningrate成正比，当所处的层数越浅，每层的w的值和反向传播错误的值乘的愈多，致使w和b更新的步长收到很大影响，最终致使梯度爆炸或者梯度消失。这时候深度网络并不能比千层网络性能好。后面基层学习状况好，而浅层网络则

>>阅读原文<<