梯度下降之随机梯度下降 -minibatch 与并行化方法

问题的引入： 考虑一个典型的有监督机器学习问题，给定m个训练样本S={x(i),y(i)}，通过经验风险最小化来得到一组权值w，则现在对于整个训练集待优化目标函数为： 其中为单个训练样本（x(i),y(i)）的损失函数，单个样本的损失表示如下： 引入L2正则，即在损失函数中引入，那么最终的损失为： 注意单个样本引入损失为（并不用除以m）： 正则化的解释 这里的正则化项可以防止过拟合，注意是在整体的

>>阅读原文<<