数学之美- 古德-图灵估计

一个偶然的机会读了吴军老师的《数学之美》，受益不浅，别于之后的温习就打算写下来

此估计是为训练统计语言模型而提出的 ，其原理就是对于没有看见的事件，咱们不能认为它的发生几率就是零，所以咱们从几率的总量（Probability mass）中，分配一个很小的比例给予这些没有看见的事件，这样一来，看见的那些事件的几率总和就要小于1，所以，须要将全部看见的事件几率小一点。至于小多少，要根据“越是不可信的统计折扣越多”的方法进行。

以统计词典的每一个词的几率为例，来讲明古德-图灵估计公式。

假设在语料库中出现r次的词有Nr个，特别的未出现的词数为N_0，预料库的大小为N。出现r次的词在整个语料库中的相对频度则是r/N，若是不作任何优化处理，就是这个相对的品读做为这些词的几率估计。

如今假定当r比较小时，它的统计可能不可靠，所以出现r次的那些词在计算它们几率时要使用一个更小一点的次数，是dr，古德-图灵估计按照下面的公式计算dr。dr=（r+1）*Nr+1/Nr  显然∑dr*Nr=N，通常来讲，出现一次的词数量比出现两次的多，出现两次的比出现三次的多，这种规律称为Zipf定律。

据上对于二元组（w_i-1,w_i）的几率估计P（w_i|w_i-1）也能够作一样的处理。

二元模型几率的公式以下：

                          f（w_i|w_i-1）  if #（w_i|w_i-1）>=T

P（w_i|w_i-1）= f_gt（w_i|w_i-1）  if 0<#（w_i|w_i-1）<T

                    Q（w_i-1）*f（w_i）  otherwise

注意：T为某一阀值,f_gt()表示通过古德-图灵估计后的相对频度，而Q（w_i-1）=（1-∑p（w_i|w_i-1））/∑f（w_i）