代价函数--交叉熵，以及熵、相对熵之间的关系

交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X是一个离散型随机变量，其取值集合为，概率分布函数为p(x)=Pr(X=x),x∈，我们定义事件X=x0的信息量为：  I(x0)=−log(p(x0))，可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当p(x0)=1时，熵将等于0

>>阅读原文<<