ml

1、信息论基础 熵:信息熵是衡量随机变量分布的混乱程度,是随机分布各事件发生的信息量的期望值,随机变量的取值个数越多,状态数也就越多,信息熵就越大,混乱程度就越大。当随机分布为均匀分布时,熵最大;信息熵推广到多维领域,则可得到联合信息熵;条件熵表示的是在 X 给定条件下,Y 的条件概率分布的熵对 X的期望。 联合熵: 条件熵:条件熵 H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不
相关文章
相关标签/搜索