北京大学开源分词工具pkuseg 初试与使用感受

本部分内容部分来自：https://github.com/lancopku/PKUSeg-python 1.前言 最近看到一些博文介绍了北大的一个开源的中文分词工具包pkuseg。其中说到，它在多个分词数据集上都有非常高的分词准确率，我们所知道的，也经常使用的结巴分词误差率高达 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 与 4.32%。当然还有其他的分词工具，如：清华

>>阅读原文<<