正则L1和L2，以及L1不可导的处理（Proximal Algorithm近端算法）

L1正则化(lasso回归)是指权值向量w中各个元素的绝对值之和，通常表示为。L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。 使用场景：输入特征的维度很高,而且是稀疏线性关系。 L2正则化(岭回归)是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为。L2正则化可以防止模型过拟合（overfitting）；一定程度上，

>>阅读原文<<