独立向量信号互信息计算——Matlab实现

引言 信息熵公式：python 其中I(X)表示X的信息量 p（xi）是xi发生的几率英文里面叫作probability mass function，一个随机产生的事件所包含的信息本体数量，只与事件发生的机率相关。事件发生的机率越低，在事件真的发生时，接收到的信息中，包含的信息本体越大。含义是几率为 0 的事件对应的信息大, 反之信息量少.取对数的缘由是使得乘积变为求和。两个独立事件x，y :p(

>>阅读原文<<