贪心学院—自然语言处理—分词原理

分词原理 前向最大匹配（forward-max matching） 后向最大匹配（backward-max matching） 维特比算法（viterbi algorithm） 前向最大匹配（forward-max matching） 根据自定义的max_length来对文本进行分词及判断。从前开始匹配。 后向最大匹配（backward-max matching） 从后开始匹配。 缺点： 未考虑语

>>阅读原文<<