Python自然语言处理之分词原理

写在前面 入坑自然语言处理，最基本的就是要做文本挖掘，而首先要做的就是文本的预处理。自然语言处理的主要流程可以表示为：  文本->分句->分词->词性标注->短语分析->句法分析->语义分析->语篇分析->理解 分句这部分一般有标点符号分割，便于处理。于是首先要做的就是分词。英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为

>>阅读原文<<