【深度学习】batch normalization

参考:http://www.javashuo.com/article/p-zpuaoinw-dx.html 引入原因:深度网络训练过程中,每一层的参数都会不断变化,很可能导致每一层的输出(即对下一层的输入)的分布发生变化,因此导致模型收敛变慢,(本质原因:输出逐渐向左右两端移动,导致曲线平缓,比如sigmoid,从而梯度消失问题产生,因此收敛越来越慢)。 解决方法:BatchNorm就是在深度神经
相关文章
相关标签/搜索