数据挖掘干货总结（二）--NLP进阶-详解Jieba分词工具

NLP进阶-详解Jieba分词工具 一、Jieba分词工具 1. 三种模式 • 精确模式：将句子最精确的分开，适合文本分析 • 全模式：句子中所有可以成词的词语都扫描出来，速度快，不能解决歧义 • 搜索引擎模式：在精确模式基础上，对长词再次切分，提高召回   2.实现的算法 • 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况的有向无环图（DAG) • 采用了动态规划查找最大概

>>阅读原文<<