中文分词——考虑语义

考虑语义的分词步骤： 当按照步骤一：生成所有可能的分割；步骤二：选择其中最好的。这种分开的方法时效率比较低，这里引入viterbi算法来解决效率问题。 例： 待分词语句：“经常有意见分歧” 词典：[“经常”，“经”，“有”，“有意见”，“意见”，“分歧”，“见”，“意”，“见分歧”，“分”] 概率：[0.1, 0.05, 0.1, 0.1, 0.2, 0.2, 0.05, 0.05, 0.05,

>>阅读原文<<