梯度下降算法详解

梯度下降算法详解   介绍             如果说在机器学习领域有哪个优化算法最广为认知，用途最广，非梯度下降算法莫属。梯度下降算法是一种非常经典的求极小值的算法，比如在线性回归里我们可以用最小二乘法去解析最优解，但是其中会涉及到对矩阵求逆，由于多重共线性问题的存在是很让人难受的，无论进行L1正则化的Lasso回归还是L2正则化的岭回归，其实并不让人满意，因为它们的产生是为了修复此漏洞，而

>>阅读原文<<