机器学习中的数学(六)--信息论与激活函数

写在前面       《机器学习中的数学》系列主要列举了在机器学习中用到的较多的数学知识，包括微积分，线性代数，概率统计，信息论以及凸优化等等。本系列重在描述基本概念，并不在应用的方面的做深入的探讨，如果想更深的了解某一方面的知识，请自行查找研究。 1. 信息论 1.1 信息熵 定义：用来衡量信息量的大小，信息的不确定性越大，信息熵就越大，信息的不确定性越小，信息熵就越小 表达式： 举例： 1.2

>>阅读原文<<