语言模型评估与类别

一、Evaluation 1、  熵 entropy l  熵（entropy）又称自信息，self-information 描述一个随机变量的不确定性的数量，熵越大，不确定性越大，正确估计其值的可能性越小。越不确定的随机变量越需要大的信息量以确定其值。 p(x)表示x的分布概率 l  相对熵（relativeentropy）又称KL距离，Kullback-Leibler divergence 衡

>>阅读原文<<