机器学习与文本中的各种熵

认识各种熵 熵 信息熵 联合熵与条件熵 相对熵，互信息，交叉熵 相对熵(又叫 KL 距离，信息增益) 的定义如下： JS散度（Jensen-Shannon divergence） 两个随机变量X和 Y，它们的互信息定义为： 交叉熵的定义如下: 文本中的熵 熵为什么用log 熵 假如一个朋友告诉你外面下雨了，你也许觉得不怎么新奇，因为下雨是很平常的 一件事情，但是如果他告诉你他见到外星人了，那么你就

>>阅读原文<<