偏差-方差权衡（bias-variance-tradeoff）

过拟合发生在当我们有一个非常灵活的模型（模型具有高能力）时，其本质上是通过紧密拟合来记住训练数据。这样的问题是模型不仅学到了训练数据中的实际关系，还学习了存在的噪声。灵活的模型具有高方差（variance），因为学到的参数（例如决策树的结构）将随着训练数据的不同而变化很大。 另一方面，因为对训练数据做出了假设，所以一个不灵活的模型具有较高的偏差（bias），（它偏向于对数据预先构思的想法）例如，线

>>阅读原文<<