论文中整理的零碎知识点

1.熵 信息熵:量化信息，小概率事件但信息量大比如月食，大概率事件信息量小比如太阳每天都从东方升起，所以采取在概率p前加一个log，再添负号，就满足前面的要求了，而这是针对单个个体，对-logp求期望Ex~p(-logp)是描述总体的信息量。   KL散度:用这个q分布去逼近真实分布p，用logp-logq(logp-logq<0,原因暂且不知道)衡量逼近的程度，这也是针对一个个体，对logp-l

>>阅读原文<<