互信息的深度理解（总结的不错值得一看）

1.互信息的定义 　　正式地，两个离散随机变量 X 和 Y 的互信息可以定义为： 　　其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。 　　在连续随机变量的情形下，求和被替换成了二重定积分： 　　其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。 　　互信息量I

>>阅读原文<<