机器学习---最大熵模型（MEM）小结

  当我们想要得到一个随机事件的概率分布时，如果没有足够的信息来完全确定其概率分布，那么最为保险的方法就是选择一个使得熵最大的分布。 最大熵模型 1.信息论知识 1.1信息熵的概念 1.2.条件熵 1.3相对熵 1.4互信息 1.5几个量之间的关系 2.无约束条件 3.最大熵原理 3.1构造约束条件 3.2求解概率分布 1.信息论知识   这里就照搬我写的一篇关于决策树的内容了。原文链接：决策树与

>>阅读原文<<