Task 语言模型

文本预处理 常见的处理的方法： 读入文本 分词 建立字典 从词的序列转换为索引的序 一般用分词工具来进行分词和词频统计。不做赘述 语言模型 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理。 统计语言模型 要判断一段文字是不是一句自然语言，可以通过确定这段文字的概率分布来表示其存在的可能性。 语言模型中的词是有

>>阅读原文<<