Python实现对张小龙3万字演讲分词统计

分词的好坏直接决定了搜索的质量，在英文中分词比中文要简单，因为英文是一个个单词通过空格来划分每个词的，而中文都一个个句子，单独一个汉字没有任何意义，必须联系前后文字才能正确表达它的意思。 Python 中有个比较著名的分词库是结巴分词，从易用性来说对用户是非常友好的，但是准确度不怎么好。 这几天发现另外一个库，pkuseg-python，简单易用，跟现有开源工具相比提高了分词的准确率。 于是我想起

>>阅读原文<<