《数学之美》 第六章 信息的度量和做用

《数学之美》 第六章 信息的度量和做用

---

• 信息量等于不肯定性的多少
• 香农定理中，用比特bit这个概念来度量信息量。一个比特是一位二进制数，计算机中一个字节是8比特
• 信息熵，通常用符号H表示 $$H(X)=-\sum_{x\in{X}}P(x)logP(x)$$,变量的不肯定性越大，熵就越大
• 一个事物内部会存在着随机性，也就是不肯定性，假定为U，从外部消除这个不肯定性惟一的办法是引入信息I。而须要引入的信息量取决于这个不肯定性的大小，即I>U才行
• 几乎全部的天然语言处理、信息与信号处理的应用都是一个消除不肯定性的过程
• 合理的利用信息，而不是玩弄什么公式和机器学习算法，是作好搜索的关键
• 条件熵：假定X和Y是两个随机变量，X是咱们须要了解的。咱们如今知道了X的随机分布P(X)，还知道了Y的一些状况，包括它和X一块儿出现的几率，以及在Y取不一样值的前提下X的几率分布。定义在Y的条件下的X的条件熵为：$$H(X|Y)=-\sum_{x\in{X},y\in{Y}}P(x,y)logP(x|y)$$

总结：信息的做用在于消除不肯定性

---

补充 互信息：做为两个随机事件“相关性”的量化度量，就是在了解了期中一个Y的前提下，对消除另外一个X不肯定性所提供的信息量 相对熵是用来衡量两个取值为正数的函数的类似性，关于相对熵的3点结论： 1. 对于两个彻底相同的函数，它们的相对熵等于0 2. 相对熵越大，两个函数差别越大；反之相对熵越小，两个函数差别越小 3. 对于几率分布或者几率密度函数，若是取值均大于0，相对熵能够度量两个随机分布的差别性

---

关于教育的几个观点 1. 小学生和中学生其实没有必要花那么多时间读书，他们的社会经验、生活能力以及在那时树立起的志向将帮助他们一辈子 2. 中学阶段花不少时间比同伴多读的课程，在大学之后用很是短的时间就能够读完，由于在大学阶段，人的理解能力要强得多 3. 学习和教育是一我的一生的过程，不少中学成绩好的亚裔学生进入名校后表现不如那些由于兴趣读书的美国同伴 4. 书本的内容能够早学也能够晚学，可是错过了成长阶段倒是没法弥补的