关于L1和L2正则

正则化目的:在loss function中加入正则项,减小过拟合问题 L0范数 L0范数表示向量中非零元素的个数: 也就是如果我们使用L0范数,即希望w的大部分元素都是0. (w是稀疏的)所以可以用于ML中做稀疏编码,特征选择。通过最小化L0范数,来寻找最少最优的稀疏特征项。但不幸的是,L0范数的最优化问题是一个NP hard问题,而且理论上有证明,L1范数是L0范数的最优凸近似,因此通常使用L1
相关文章
相关标签/搜索