机器学习(2.100)数据知识积累——香农熵

1948 年，香农提出了“ 信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。 一条信息的 信息量大小和它的不肯定性有直接的关系。好比说，咱们要搞清楚一件很是很是不肯定的事，或是咱们一无所知的事情，就须要了解大量的信息。相反，若是咱们对某件事已经有了较多的了解，咱们不须要太多的信息就能把它搞清楚。因此，从这个角度，咱们能够认为，信息量的度量就等于不肯定性的多少。 先给出公式： 假设：有

>>阅读原文<<