深度学习笔记(十三):L1、L2正则化

正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般L1正则化和L2正则化,或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。一般回归分析中回归w表示特征的系数,从上式可以看到正则化项是对系数做了处理(限制) 范数         数学上,范数是一个向量空
相关文章
相关标签/搜索