机器学习中的奥卡姆剃刀定律

奥卡姆剃刀定律是机器学习选择算法时可参照的标准之一。其含义是：在其他条件一样的情况下，选择简单的那个。 该定律的意义在于数据的拟合和低复杂性之间实际上存在着折衷。 理论上假设的解决方案越复杂，就越能拟合数据，训练数据误差就会越低   图1 但是在现实生活中，有关未知数据的泛化误差，往往如图2所示。   图2 泛化数据误差实际是训练数据误差与另一个名为过拟合误差的函数之和。   图3 在泛化误差最小

>>阅读原文<<