交叉熵（Cross-Entropy）

交叉熵（Cross-Entropy） 交叉熵是一个在ML领域常常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。php 1.什么是信息量？ 假设 X 是一个离散型随机变量，其取值集合为  ，几率分布函数为 p(x)=Pr(X=x),x∈ ，咱们定义事件 X=x0 的信息量为： I(x0)=−log(p(x0)) ，能够理解为，一个事件发生的几率越大，则它所携带的信息量就越小，而当 p(

>>阅读原文<<