机器面试-处理分类问题

● 交叉熵公式 参考回答： 交叉熵：设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是： 在一定程度上，相对熵可以度量两个随机变量的“距离”，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大于等于0的。 互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示： 且有I(X,Y)=D(P(X,Y)||P(X

>>阅读原文<<