各类优化算法及其优缺点？

1）梯度降低：每次使用所有数据集进行训练算法 优势：获得的是最优解spa 缺点：运行速度慢，内存可能不够内存 2）随机梯度降低SGM方法 在随机梯度降低法中每次仅根据一个样本对模型中的参数进行调整数据 优势：能够必定程度上解决局部最优解的问题margin 缺点：容易震荡，收敛速度较慢co 3）批量梯度降低BGMbat 优势：容易陷入局部最优解参数 缺点：收敛速度较快模型 4）mini_batch梯

>>阅读原文<<