Task2

文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 用现有工具进行分词 前面介绍的分词方式非常简单，至少有以下几个缺点: 标点符号通常可以提供语义信息，但是我们的方法直接将其丢弃了 类似“shouldn’

>>阅读原文<<