信息与熵的计算

1. 什么是信息？ 信息的定义涉及几率论中的随机事件几率，若是待分类事物可能划分在多个分类之中，则符号 Xi 的信息定义为：php 其中 p(xi) 是选择该分类的几率。（该定义来自于《机器学习实战》P35）机器学习 举个例子：已知事件 X 的几率分布以下，计算符号 X 的信息： X X0 X1  p  0.5 0.5 l(x0)  = -log2p(x0) = -log2(0.5) = 1 l(

>>阅读原文<<