机器学习篇——正则化

l1和l2正则化 1、作用 损失函数一般为经验风险加上结构风险，其中结构风险最小化即正则化，减少过拟合 正则化可以看做先验， 2、应用 线性回归中，lasso回归：正则项为λw的1范数 rige回归：正则项为λw的2范数 svm：0.5w的2范数，即间隔 决策树：α乘以叶子数 xgboost： l1正则项，叶子节点的个数 L2正则项，平滑各叶子节点的预测值 神经网络： 损失函数中引入正则项 CNN

>>阅读原文<<