统计机器学习-方差/误差的权衡

方差/误差权衡

在统计学和机器学习领域，一个重要的理论结果是，模型的泛化偏差能够被表示为三个大相径庭的偏差之和。

误差

这部分泛化偏差的缘由在于错误的假设，好比假设数据是线性的，而其实是二次的。高误差模型最有可能对训练数据拟合不足。

方差

这部分泛化偏差是因为模型对训练数据的微小变化过渡敏感致使的。具备高自由度的模型（例如高阶多项式模型）极可能也有高方差，因此很容易对训练数据过渡拟合。

不可避免的偏差

这部分偏差是因为数据自己的噪声所致。减小这部分的偏差的惟一办法就是清理数据

增长模型的复杂度一般会显著增长模型的方差，减小误差。反过来，下降模型的复杂度则会提高模型的误差，下降方差。这就是为何称其为权衡。