深度学习中momentum的做用

 训练网络时，一般先对网络的初始权值按照某种分布进行初始化，如：高斯分布。初始化权值操做对最终网络的性能影响比较网络 大，合适的网络初始权值可以使得损失函数在训练过程当中的收敛速度更快，从而得到更好的优化结果。可是按照某类分布随机初始化函数 网络权值时，存在一些不肯定因素，并不能保证每一次初始化操做都能使得网络的初始权值处在一个合适的状态。不恰当的初始权值可性能 能使得网络的损失函数在训练过程当中

>>阅读原文<<