正则化减少overfitting

正则化相当于对原来函数的泛化能力,是对解空间的一种约束:不仅减少了过拟合,还避免陷入局部最小值点 常见的正则化: (1)L1 正则化 (2)L2 正则化 两者都是权重的减小, 只是L1减少一个常量,L2减少了固定比例 如果权重本身很大,L1减少的比L2少 如果权重本身很小,L1减少的多 L1正则化使数据变得更加稀疏,这是和本身的范数空间有关的
相关文章
相关标签/搜索