中文分词模型算法调研

1. 原理-分词算法 1.1. 基于词典的分词 1、最大匹配分词算法：寻找最优组合的方式是将匹配到的最长词组合在一起。其缺点是严重依赖词典，无法很好地处理分词歧义和未登录词。优点是由于这种方法简单、速度快、且分词效果基本可以满足需求，因此在工业界仍然很受欢迎。 2、最短路径分词算法：将一句话中的所有词匹配出来，之后寻找从起始点到终点的最短路径作为最佳组合方式 基于Dijkstra算法求解最短路径、

>>阅读原文<<