深度学习理论——信息量，信息熵，交叉熵，相对熵及其在机器学习中的应用

你们好，继续理论学习，在我当年的一篇讲softmax和LR回归的博客里机器学习 就是这篇博客！学习 还有这篇！测试 在里面只是简单地讲了交叉熵的公式，可是为何深度学习当时要取最小的交叉熵来优化参数，其实我没太明白，今天搞明白了，来记录一下。优化 1.信息量.net 信息量的大小能够衡量事件的不肯定性或发生的惊讶程度。一个事件发生的几率越小则其所含的信息量越大。设事件发生的几率为P(x)，则其信息量

>>阅读原文<<