机器学习-----信息-------熵

1.1什么是信息 信息定义公式:   i(x) = -log( p(x) ) 我们理解概率p是对某个事件确定性的度量，认为信息是对某个事件不确定性的度量。 如果两个事件X和Y独立，即p(xy)=p(x)p(y) ，假定X和y的信息量分别为i(x)和i(y)，则二者同时发生的信息量应该为i(x^y)=i(x)+i(y)。 1.2什么是熵 熵是对平均不确定性的度量 。定义公式H(x) = -∑ p(x

>>阅读原文<<