lucene4.7 分词器(三)

笔者比较推荐的中文分词器是IK分词器,在进入正式的讲解之前,我们首先对Lucene里面内置的几个分析器做个了解.  分析器类型 基本介绍 WhitespaceAnalyzer 以空格作为切词标准,不对语汇单元进行其他规范化处理 SimpleAnalyzer 以非字母符来分割文本信息,并将语汇单元统一为小写形式,并去掉数字类型的字符 StopAnalyzer 该分析器会去除一些常有a,the,an等
相关文章
相关标签/搜索