偏差与方差

“偏差-方差分解”是解释学习算法泛化性能的一种重要工具。偏差-方差分解试图对学习算法的期望泛化错误率进行拆解。算法在不同训练集上学到的结果很可能不同，即便这些训练集来自同一个分布。对于测试样本，令为在数据集中的标记，为的真实标记，为训练集D上学的模型在上的预测输出。 以回归任务为例子，学习算法的期望预测为： 使用样本数相同的不同训练集产生的方差为： 噪声为  其中期望输出与真实标记的差别为偏差(b

>>阅读原文<<