理解JS散度(Jensen–Shannon divergence)

文章目录 1.KL散度 1.1 KL散度的性质 1.2 KL散度的问题即JS散度的引出 2. JS散度 为什么会出现两个分布没有重叠的现象 参考文献 1.KL散度 用来衡量两个分布之间的差异，等于一个交叉熵减去一个信息熵（交叉熵损失函数的由来） 1.1 KL散度的性质 非负性（用Jenson‘s inequality 证明） 不对称性，即KL(P||Q)≠KL(Q||P) 1.2 KL散度的问题即

>>阅读原文<<