NLP语言模型(LMs)在实际数据中的应用

语言模型(LM)的作用是估计不同语句在对话中出现的概率，并且LM适用于许多不同的自然语言处理应用程序(NLP)。 例如，聊天机器人的对话系统。 在此文中，我们将首先正式定义LM，然后演示如何使用实际数据计算它们。 所有显示的方法在Kaggle notebook中有完整的代码展示。 一、语言模型(LM)的定义 概率语言建模的目标是计算单词序列的语句出现的概率：                    

>>阅读原文<<