5分钟了解lucene全文索引

1、Lucene介绍及应用

Apache Lucene是当下最为流行的开源全文检索工具包，基于JAVA语言编写。

目前基于此工具包开源的搜索引擎，成熟且广为人知的有Solr和Elasticsearch。2010年后Lucene和Solr两个项目由同一个Apache软件基金会的开发团队制做，因此一般咱们看到的版本都是同步的。两者的区别是Lucene是工具包，而Solr是基于Lucene制做的企业级搜索应用。另外，咱们经常使用的Eclipse，帮助系统的搜索功能也是基于Lucene实现的。

2、Lucene的两项工做

在咱们的生活物品中，汉语字典与全文索引是很类似的。咱们拿拼音查字法举例，首先咱们经过拼音找到咱们要查字的页数，而后翻到该页，阅读这个字的详细解释。

在上面的例子中，咱们提到了两个要素：一个是字典，另外一个是查字的过程。对应到Lucene的功能上，一个是咱们要创建一个字典，这个过程叫作创建索引，另外一个是根据搜索词基于索引进行查询。

2.1 创建索引

1）文档的准备（Document）

文档就是指咱们要去搜索的原文。

2）分词组件（Tokenizer）

将第一步的文档进行词语切割，去除标点，去除无用词，好比“是”，“的”等。经常使用的开源中文分词组件有MMSEG4J、IKAnalyzer等。切割后的词语咱们称为词元（Token）。

3）语言处理（Linguistic Processor）

将上一步的得到的词元进行处理，好比英文的大写转小写，复数变单数，过去时分词转原形等。此时获得的结果，被称做词(Term)

4）索引组件

索引组件将上步获得的词，生成索引和词典，存储到磁盘上。索引组件先将Term变成字典，而后对字典进行排序，排序后对相同的词进行合并，造成倒排列表。每一个词在列表中存储了对应的文档Id（Document Frequency）以及这个词在这个文档中出现了几回（Term Frequency）。

2.2 搜索

1）输入查询词

2）词法分析及语言处理

对输入的词进行拆分，关键字识别(AND,NOT)等。对拆分的词元进行语言处理，与创建字典时语言处理的过程相同。由关键字与处理后的词生成语法树。

3）搜索索引，得到符合语法树的文档

如A and B not C造成的语法树，则会搜索包含A B C的文档列表，而后用A和B的文档列表作交集，结果集与C作差集，获得的结果，就是符合搜索条件的文档列表

4）根据相关性，对搜索结果排序

经过向量空间模型的算法，获得结果的相关性。比较简单的实现描述以下：在创建索引的时候，咱们获得了Document Frequency和Term Frequency，Term Frequency越高，说明文档的相关性越高；Document Frequency越高，说明相关性越弱。这个算法能够本身进行实现。

5）根据上面的排序结果，返回文档。

3、索引结构

Lucene的索引结构是有层次结构的。咱们如下图为例

3.1 索引(Index)

若是拿数据库作类比，索引相似于数据库的表。

在Lucene中一个索引是放在一个文件夹中的。因此能够理解索引为整个文件夹的内容。

3.2 段(Segment)

若是拿数据库作类比，段相似于表的分区。

索引下面引入了Segment 的概念，一个索引下能够多个段。当flush或者commit时生成段文件。截图中有0，1两个段。segments.gen和segments_5是段的元数据文件，它们保存了段的属性信息。其余的文件对应的就是各段的文件，稍后会详细说明各文件的用处。

索引的写入是顺序的，只能被追加，不能被修改。当索引要删除时，在.del文件中写入对应的docId。查询的时候会过滤到此docId。另外索引的修改，是对Document进行删除后作的追加。这种设计保证了高吞吐量。

分段的设计能保证查询的高效，当段太大时，查询会产生很大的IO消耗。段过小，则须要查询的段太多。因此lucene对段进行了合并，另外删除的数据也是在合并过程当中过滤掉的。4.0以前的默认的合并策略为LogMergePolicy，这个策略会合并小于指定值的相邻段，若是两个相邻段，一个大小为1G，一个大小为1k，则会重写1G的文件会占用很大资源。4.0以后默认策略改成了TieredMergePolicy，这个策略会先按分段大小进行排序，对段进行删除比计算，优先合并小的分段。当系统闲暇的时候，才对大分段进行合并。

3.3 文档(Document)

若是拿数据库作类比，文档相似于数据的一行。

Document是索引的基本单位。一个段能够有多个Document

3.4 域(Field)

若是拿数据库作类比，域至关于表的字段。

Doument里能够有多个Field。Lucene提供多种不一样类型的Field，例如StringField、TextField、LongFiled或NumericDocValuesField等。

3.5 词(Term)

Term是索引的最小单位。Term是由Field通过Analyzer（分词）产生。

4、段的文件说明

第三章节详细描述了段的设计和合并策略，如下详细讲解一些段文件的内容。

segments_N保存了此索引包含多少个段，每一个段包含多少篇文档。

*.fnm

保存了此段包含了多少个域，每一个域的名称及索引方式。

*.fdx，*.fdt

保存了此段包含的全部文档，每篇文档包含了多少域，每一个域保存了那些信息。

*.tvx，*.tvd，*.tvf

保存了此段包含多少文档，每篇文档包含了多少域，每一个域包含了多少词，每一个词的字符串，位置等信息。

*.tis，*.tii

保存了词典(Term Dictionary)，也即此段包含的全部的词按字典顺序的排序。

*.frq

保存了倒排表，也即包含每一个词的文档ID列表。

*.prx

保存了倒排表中每一个词在包含此词的文档中的位置

*.del

前面讲段的时候有提到，用来是存储删掉文档id的。

做者：田梁

来源：宜信技术学院