信息与熵值的计算

原文地址http://www.javashuo.com/article/p-xwpfivmn-cr.html 1. 什么是信息？ 信息的定义涉及概率论中的随机事件概率，如果待分类事物可能划分在多个分类之中，则符号 Xi 的信息定义为： 其中 p(xi) 是选择该分类的概率。（该定义来自于《机器学习实战》P35） 举个例子：已知事件 X 的概率分布如下，计算符号 X 的信息： X X0 X1  p 

>>阅读原文<<