K-L散度

从下面这个问题出发思考K-L散度。 假设我们是一群太空科学家，经过遥远的旅行，来到了一颗新发现的星球。在这个星球上，生存着一种长有牙齿的蠕虫，引起了我们的研究兴趣。我们发现这种蠕虫生有10颗牙齿，但是因为不注意口腔卫生，又喜欢嚼东西，许多蠕虫会掉牙。收集大量样本之后，我们得到关于蠕虫牙齿数量的经验分布，如下图所示. 这些数据很有价值，但是也有点问题。我们距离地球🌍太远了，把这些概率分布数据发送回

>>阅读原文<<