ElitesAI·动手学深度学习PyTorch版Task02

ElitesAI·动手学深度学习PyTorch版 Task02 文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 用现有工具进行分词 我们前面介绍的分词方式非常简单，它至少有以下几个缺点: 标点符号通常

>>阅读原文<<