最大熵原理（浅析）

补充 再使用拉格朗日乘数法时，对于不能直接进行求导求解的问题，还可以使用其对偶问题，如同SVM算法中描述的一样，去进行求解，使用对偶问题仅是为了简化计算过程。 为最大熵模型量身定制的两个最优化方法分别是通用迭代尺度法(GIS)和改进的迭代尺度法(IIS)。 知道有这两个最优化方法即可，如需使用，再进行深入（估计以后都用不到）。

>>阅读原文<<