深度学习学习笔记 --- 动量momentum

一、动量momentum的由来         训练网络时，通常先对网络的初始值按照某种分布进行初始化，如：高斯分布。初始化权值操作对最终的网络性能影响比较大，合适的网络初始权值操作能够使损失函数在训练过程中收敛速度快，从而获得更好的优化结果。但是按照分布随机初始化网络权值时，存在一些不确定的因素，并不能保证每一次初始化操作都能使得网络的初始值处在一个合理的状态。不恰当的初始权值可能使网络的损失函

>>阅读原文<<