优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam

原文https://blog.csdn.net/u010089444/article/details/76725843 1. SGD Batch Gradient Descent 在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新：                              Θ=Θ

>>阅读原文<<