岭回归

收缩方法： 通过选择自变量的一个子集产生新的线性模型，这个模型是可以解释的并且可能具有比完整模型更低的误差，然而由于它是一个离散过程（变量或者保留或者丢弃），使得子集选择方法常常表现出高方差，因此不能降低整个模型的预测误差，收缩方法更加连续，并且不会因为变量多而降低性能。 岭回归： 岭回归主要解决回归中的两大问题：排除多重共线性和进行变量的选择。 思想是在原先的最小二乘估计中加入一个小扰动，也叫惩

>>阅读原文<<