文本预处理，语言模型，循环神经网络

1.文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 2语言模型 一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T T T的词的序列 w 1 , w 2 , … , w T w_1, w_

>>阅读原文<<