1.7优化（optimization）

1.7 优化（optimization） 1.7.1 梯度下降（Gradient Descent） 解决回归算法中一些求拟合线性方程最优解问题，即最小化损失函数J(θ) = ( h(x) - y )^2的问题，有两种求解方法：最小二乘法和梯度下降法。而通过矩阵求解最小二乘公式中：θ = ( XTX)-1XTy→要求X是列满秩的，而且求矩阵的逆比较慢，所以一般采用梯度下降法。 算法目标是最小化J(θ

>>阅读原文<<