关于语言模型的一些新理解

这几天又陆陆续续的读了关于一些关于NLP上语言模型的书籍,简单总结了下本身的新的认识:

一:语言模型的性能评价:

1:语言模型的评价目标:

语言模型的计算的几率分布可以与真实的理想模型的几率分布能够相接近(这一点实际上是比较困难的,可是这是咱们一直追求的目标)

2:困难:

没法知道语言模型的理想模型的真实分布

3:经常使用的几个指标;

交叉熵,困惑度(这又涉及到了关于熵的相关计算,这将和离散数学和图论上学习到的知识应用到实际生产生活中)

4:天然语言统计方法的通常步骤:

1:收集大量的语料(这是基础操做,也是工做量最大的操做)

2:针对语料进行统计分析,得出知识(知识是一些几率,好比像n元语法这样)

3:针对某些场景创建算法,即便是计算简单的几率也会有复杂的算法能够运用,有的甚至能够直接标注(与nlp相关的算法很复杂,可是幸亏翻来覆去就这几个)

二:语言模型给个人启示:

开启了天然语言处理的统计方法时代,统计语言模型大概是天然语言处理中最简洁也最漂亮的模型了，在天然语言处理中，统计语言模型的应用包括语音识别、机器翻译、中文分词、拼写检查、语言识别、输入法等等，以致于Google科学家吴军老师的《数学之美》系列第一篇就介绍了统计语言模型

n元语言模型的应用很是普遍，最先期的应用是语音识别、机器翻译等问题。哈尔滨工业大学王晓龙教授最先将其应用到音字转换问题，提出了“语句级拼音输入法”，后来该技术转让给微软，也就是后来的微软拼音输入法。从windows95开始，系统就会自动安装该输入法，并在之后更高版本的windows中和Office办公软件都会集成最新的微软拼音输入法。n年以后，各个输入法的新秀（如搜狗和谷歌）也都采用了n元语法模型技术。

正是由于这么多的应用,语言模型的发明开启了天然语言处理的新时代

这里推荐几本本身看过,自觉得以为不错的书,也但愿你们多多交流:

1:

一、《天然语言处理综论》英文版第二版

二、《统计天然语言处理基础》英文版

三、《用Python进行天然语言处理》，NLTK配套书