[机器学习笔记] 什么是经验风险？什么是结构风险？

经验风险 机器学习模型关于训练数据集的平均损失称为经验风险。度量平均意义下模型预测效果的好坏。 结构风险 结构风险是在经验风险的基础上加上表示模型复杂度的正则项（罚项）。 其中： J(f) 是模型的复杂度，模型f越复杂，J(f)值就越大，模型越简单，J(f)值就越小。也就是说，J(f) 是对复杂模型的惩罚。为什么说是惩罚呢？因为求解的目标是整体达到最小值，经验风险越小，模型越复杂，J(f) 的值越

>>阅读原文<<