中文分词基础

(一)中文分词基础 背 景 • 一段文字不仅仅在于字面上是什么,还在于怎么切分和理解。 • 例如:       – 阿三炒饭店:       – 阿三 / 炒饭 / 店 阿三 / 炒 / 饭店 • 和英文不同,中文词之间没有空格,所以实现中文搜索引擎,比英文多了一项分词的任务。 • 如果没有中文分词会出现:      – 搜索“达内”,会出现“齐达内”相关的信息 • 要解决中文分词准确度的问题,是
相关文章
相关标签/搜索