机器学习笔记（一）：最小二乘法和梯度下降

一、最小二乘法 1.一元线性拟合的最小二乘法 先选取最为简单的一元线性函数拟合助于我们理解最小二乘法的原理。 要让一条直接最好的拟合红色的数据点，那么我们希望每个点到直线的残差都最小。 设拟合直线为 y i = b + a x i y_{i}= b+ax_{i} yi​=b+axi​,那这些数据的所有误差和为： S = ∑ i = 1 n ( y − b − a x i ) 2 S=\sum_{i

>>阅读原文<<