【caffe】SGD模式调参概念理解

1、SGD概念理解？ 批量随机梯度下降，对小批量数据进行梯度计算，均值作为运动方向和幅度： 2、caffe设置SGD的方法是什么？对应的公式是什么？ caffe的是通过solver.prototxt来传递参数的，如下图所示： 具体的公式在alexnet论文里面给出的很形象，如下图所示： 3. momentum和decay的意义分别是什么？ momentum：动量操作，就是以上一次的运动为依据，避免

>>阅读原文<<