BGD/SGD/MBGD-梯度下降算法

BGD（Batch Gradient Descent） 批量梯度下降法是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新。它得到的是一个全局最优解，批量梯度下降法在更新每一个参数时，即每迭代一步，都要用到训练集所有的数据，训练过程会随着样本数量的加大而变得异常的缓慢。 优点：全局最优解；易于并行实现； 缺点：当样本数目很多时，训练过程会很慢。 从迭代的次数上来看，B

>>阅读原文<<