互信息

互信息 一、概念 互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱，或者说是X与Y的相关性。 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负或0。 互信息实际上是更广泛的相对熵的特殊情形 如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘概率分布乘

>>阅读原文<<