词汇与分词技术

中文分词主要分为三个流派： 机械式分词法（基于词典）： 简单来说就是建立一个巨大的词典，然后将词典中的词语和文章中的词语相匹配，找到这个词语就算匹配成功，但是词典的完备性得不到保证。也就是文章中的有的词语在词典中找不到。 基于语法和规则的分词法： 分词的同时在句法语义方面进行分析，利用句法信息和语义信息进行词性标注，解决分词的歧义。 因为现在的语法句法还十分复杂，所以精度还不高。 基于统计的分词法

>>阅读原文<<