Task2:文本预处理；语言模型； 循环神经网络基础知识点总结

文本预处理 步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引 把文本从词的序列转化为索引的序列（把token转化为数，方便输入模型） 分词 把句子分成若干token，使之成为 a serie of token 建立字典 把每一个token映射到一个唯一的Index 语言模型 语言模型是一种通过概率大小判断一段给定的词的序列是否合理的模型，分为统计语言模型和神经网络语言模型两种。 一段

>>阅读原文<<