正则化

正则化： 作用：选择经验损失(风险)函数和模型复杂度都小的模型(模型复杂可能过拟合，缓解过拟合) 一般形式： 经验损失函数+正则化项，λ大于等于0用于调整二者之间的关系 在经验损失函数小时（经验损失大小取决于于训练误差，模型很好的拟合了训练数据），模型可能很复杂(有多个非零系数)，这时正则化项的复杂度(值)会变大。       正则化项一般使用Lp范数，一般使用模型参数（线性回归中x的系数）的L1

>>阅读原文<<