信息量，熵，交叉熵，KL散度的手写总结

大致过程 首先上图，简单的神经网络： 1 输出的y向量经过softmax变成概率分布向量 也意味着，你只可能是属于1类，因为通常你选择最大概率对应的类别作为预测类别。 但是实际中如果出现，人和女人这种类别，有包含关系，最好用逻辑回归。 !注意： softmax 只有两种类别时候就是逻辑斯特回归！ 2 对应于真实的标签分布，计算交叉熵。 注意： KL散度类似于"距离"，但不是距离。距离定义是dist

>>阅读原文<<