机器学习-泛化能力

机器学习-泛化能力

1.泛化能力

在机器学习方法中，泛化能力通俗来说就是指学习到的模型对未知数据的预测能力。在实际状况中，咱们一般经过测试偏差来评价学习方法的泛化能力。若是在不考虑数据量不足的状况下出现模型的泛化能力差，那么其缘由基本为对损失函数的优化没有达到全局最优。

2.泛化偏差

根据PAC理论，泛化偏差能够直观理解为以e指数的形式正比于假设空间的复杂度，反比于数据量的个数。
就是数据量越多，模型效果越好，模型假设空间复杂度越简单，模型效果越好。

3.提升泛化能力

提升泛化能力的方式大体有三种：1.增长数据量。2.正则化。3.凸优化。

4.L1正则化，L2正则化

L1正则化的几何解释如图：

L1正则化给出的最优解w∗是使解更加靠近某些轴，而其它的轴则为0，因此L1正则化能使获得的参数稀疏化。
L1正则化的参数先验是服从拉布拉斯分布的，拉布拉斯的几率密度分布函数为：

L2正则化的解释如图：

L2 正则化给出的最优解w∗是使解更加靠近原点，也就是说L2正则化能下降参数范数的总和。
L2正则化的参数先验服从高斯分布，高斯分布的几率密度分布函数为：