回归问题：采用最小二乘法拟合多元屡次函数来构造损失函数

第一张图是当模型为一元一次函数时的状况，以及其loss函数（二元二次函数）的图像是如何由函数的子项造成的，以及二元二次函数梯度的不一样对学习率的影响。通常来讲采用全量梯度降低时函数图像最陡，批量梯度降低次之，随机梯度降低或者说逐样本梯度降低最缓。 下图为二次型的系数矩阵正定的状况，下图的碗很陡，即梯度的绝对值很大。 下图为二次型的系数矩阵负定的状况，下图的碗没这么陡峭了，即梯度的绝对值小不少了。

>>阅读原文<<