信息熵
信息熵：信息的不肯定性的大小。一条信息消除的不肯定性越大（即熵越大），它蕴含的信息量越大。
信息量：消除不肯定性的大小。
好比在数据打标签过程当中。
句子1 熵为2.7 标记为A类
句子2 熵为5.0 标记为B类
那么句子2的信息量明显大于句1的信息量。由于句子2的不肯定性更大，但它任然能肯定它的类别，说明句子2更有价值。数学
参考《数学之美》第六章。io
参考网址：https://www.zhihu.com/question/22178202数据
相关文章
- 1. 熵、信息量、信息熵、交叉熵、联合熵、条件熵
- 2. 信息熵、条件熵、信息增益
- 3. 信息熵 交叉熵 相对熵 条件熵 互信息
- 4. 信息熵、熵、相对熵、交叉熵
- 5. 信息量和信息熵
- 6. 信息、熵、信息增益
- 7. 熵、相对熵、互信息
- 8. 【熵系列-2】信息熵
- 9. 交叉熵和信息熵
- 10. 信息熵 entropy
- 更多相关文章...
- • 浏览器信息 - 浏览器信息
- • XML DOM 节点信息 - XML DOM 教程
- • 三篇文章了解 TiDB 技术内幕 —— 谈调度
- • 三篇文章了解 TiDB 技术内幕 —— 说计算
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 熵、信息量、信息熵、交叉熵、联合熵、条件熵
- 2. 信息熵、条件熵、信息增益
- 3. 信息熵 交叉熵 相对熵 条件熵 互信息
- 4. 信息熵、熵、相对熵、交叉熵
- 5. 信息量和信息熵
- 6. 信息、熵、信息增益
- 7. 熵、相对熵、互信息
- 8. 【熵系列-2】信息熵
- 9. 交叉熵和信息熵
- 10. 信息熵 entropy