最短路径分词

最短路径分词 中文分词有很多方法，比如N-最短路径法，N元语言模型，CRF模型等等。大致可以分为两类：一是机械化的分词，二是用机器学习方法分词。最短路径算法可以划分到第一种。这个算法效果并不是最好的，大体和IK分词打成平手。今天用最简洁语言描述一下：这个算法主要分两步：第一，构造DAG（有向无环图），第二找出最优路径。以下图为例 "有意见分歧”进行分词。首先构造下图中的左边的DAG：节点用0~5来

>>阅读原文<<