惩罚、补偿、正则化、约束的联系和区别

最近看几篇文章，文章上面在写反演目标函数的时候，有些是写的约束，有些是说补偿，有些又是正则化。说实话，之前是没怎么区分这几个东西的，感觉都是一样的，后来才真正的注意到这个事情。下面是来自百度百科的解释： 其实所有的惩罚、补偿还是正则化都是约束方法。如上所示，约束就是把值给限定在一定的范围内，在反演过程中，如果加在目标函数中的话，就会写成最下面的函数形式，这就是平常我们所说的加入惩罚、补偿、正则化的

>>阅读原文<<