正则化(经验风险最小化与结构风险最小化)

经验风险最小化，是根据定义的cost函数，来使训练集合的cost(损失)函数的整体最小，一般常见的的损失函数有一下： 当选定了损失函数以后，就可以确定经验风险函数：1/N * L(yi, f(xi)) ( i的范围是１到Ｎ的所有训练集做累加）； 所谓经验风险最小化就是确定模型的参数使得经验风险函数最小。 但是当训练集合很小而训练集合的元素特征又比较多的时候，单单使用经验风险最小化函数，会造成模型过

>>阅读原文<<