机器学习笔记十：各类熵总结

一.什么是熵 Ⅰ.信息量 首先考虑一个离散的随机变量x,当咱们观察到这个变量的一个具体值的时候,咱们接收到多少信息呢? 咱们暂时把信息看作在学习x的值时候的”惊讶程度”(这样很是便于理解且有意义).当咱们知道一件必然会发生的事情发生了,好比往下掉的苹果.咱们并不惊讶,由于反正这件事情会发生,所以能够认为咱们没有接收到信息.可是要是一件平时以为不可能发生的事情发生了,那么咱们接收到的信息要大得多.所

>>阅读原文<<