机器学习中的交叉熵

信息量    P(x)为条件概率，意义为表达一个事件发生的概率 ( P(x)∈[ 0 , 1 ] )   当小概率事件发生时，提供的信息量往往很大，或者说令人惊讶，例如中国男足勇夺世界杯冠军因为概率很小趋近于0，所以当该事件发生时提供的信息量就很大I趋近于∞，反之中国乒乓球包揽金牌，该事件概率很大趋向于1，那么信息量I就很小趋近于0。 总结 信息量I ，表征事件冷门程度，越冷门，信息量越大   补

>>阅读原文<<