NLP文本处理的流程

文本处理流程 首先先看一个整体的流程图 原始文本：从网页、新闻或者指定资源获取的没有经过处理的原始文本数据。 分词：一般分为英文和中文，英文相对较简单，多数通过空格或者其他标点符号就可以，而中文相对困难。 清洗： 1.无用的标签，如：html；2. 特殊符号，如！；3. 停用词，如，英文中的a， an，the；4.大写转小写， 标准化：主要用在英文语料中，把多个单词转换成统一的单词，简单的说就是同

>>阅读原文<<