经典的文本数据预处理流程（转）

• 首先对文本进行分词，因为可以直接用NLTK的分词器，中文的可以用结巴分词
• 在英文中，往往还需要对单词进行词干提取和词形归一化。在词形归一的过程中如果结合POS Tag可以更好的进行词形归一。
• 去除停用词，得到最终的词列表

本文转自：http://www.javashuo.com/article/p-qcajvcgz-vs.html