自然语言处理学习 nltk----分词

  1. nltk.word_tokenize ( text ) : 直接的分词，比如：“ isn't ” 被分割为 " is " 和 “ n't ”  2. WordPunctTokenizer ( ) : 单词标点分割，比如：“ isn't ”被分割为" isn ", " ' " 和 " t "      注意WordPunctTokenizer ( )的用法。  3. TreebankWor

>>阅读原文<<