分词轻松理解

1.常用的分词工具 调用 jieba 2. 分词方法1 —前向最大匹配法 注意:做分词必须有一个词典库,定义最大匹配法的 max_len = 5 从前往后扫描句子: 第一次扫描: ① [我们经常有] — 这5个字的组合不在词典中,因此 × ② [我们经常] — 这4个字的组合不在词典中,因此 × ③ [我们经] — 这3个字的组合不在词典中,因此 × ④ [我们] — 这2个字的组合在词典中,因此
相关文章
相关标签/搜索