卷积神经网络(CNN)介绍07-正则化

L1正则化 L1范数是指向量中各个元素绝对值之和,也有个美称叫“稀疏规则算子”(Lasso regularization) (任何的规则化算子,如果他在Wi=0的地方不可微,并且可以分解为一个“求和”的形式,那么这个规则化算子就可以实现稀疏。) 既然L0可以实现稀疏,为什么不用L0,而要用L1呢? 个人理解一是因为L0范数很难优化求解(NP难问题),二是L1范数是L0范数的最优凸近似,而且它比L0
相关文章
相关标签/搜索