Lucene分词基本概念

Lucene分词基本概念 Lucene接收纯文本，分词之后写入索引。 分词就是将一段文本拆分成多个词(Token)，并产生与每个词相关联的一些属性(Attribute)的过程。 TokenStream、PositionIncrement和PositionLength Lucene用TokenStream来表示分词的结果。一般情况下，TokenStream可以看做是一个顺序的Token流。 例如，有

>>阅读原文<<