一文读懂ES基础概念及索引过程

Elasticsearch是一个近实时分布式搜索引擎，其底层基于开源全文搜索库Lucene；Elasticsearch对Lucene进行封装，对外提供REST API 的操做接口。基于 ES，能够快速的搭建全文搜索引擎；除了搜索功能，ES还能够对数据进行分析：如日志分析、指标分析，同时还提供了机器学习功能。Elasticsearch有一个完整的生态圈（ELK），造成了从数据采集（logstash，filebeat）、数据存储（Elasticsearch）、数据可视化（kibana）的闭环。

下面简单介绍一下ES中的基础概念：1.ES集群Elasticsearch是一个分布式系统，具备高可用性及可扩展性，当集群中有节点中止或丢失时不会影响集群服务或形成数据丢失；同时当访问量或数据量增长时可用采用横向扩展的方式增长节点，将请求或数据分散到集群的各个节点上。不一样的集群能够经过不一样的名字来区分，集群默认名为“elasticsearch“，若是节点配置的集群名称同样，则这些节点组成为一个ES集群。2.ES节点一个节点是一个ElasticSearch的实例，本质上是一个Java进程。ES根据功能不一样分为不一样的节点类型，在生产环境中，建议根据数据量，写入及查询吞吐量，选择合适的部署方式，最好将节点设置为单一角色。

节点类型	节点做用	节点配置参数	默认值
Master Node	管理节点，进行建立、删除索引等操做，决定分片被分配到哪一个节点，负责索引建立删除，维护并更新集群状态。	node.master	true
Data Node	数据节点，处理与数据相关的操做，如索引的CRUD、搜索和聚合，数据节点的操做属于I/O、内存和CPU密集型操做。	node.data	true
Ingest Node	提取节点，具备数据预处理的能力，可拦截Index或Bulk Api的请求，可对数据进行转换，并从新返回Index或Bulk Api，默认配置下，全部节点都是Ingest Node。	node.ingest	true
Coordinating Node	协调节点，负责接受客户端的请求，并将请求分发到合适的节点，并将各节点返回的数据汇聚到一块儿。每一个节点都默认是Coordinating Node。	无	设置master、data、ingest全为false
Maching Learning Node	机器学习节点，用于运行做业和处理机器学习API请求。	node.ml	true，须要enable x-pack

3.ES文档文档是ES的最小单位，一般用JSON方式的数据结构表示，相似于数据库中的一条记录。文档具备如下特征：1.自我包含，一篇文档同时包含字段和它们的取值。2.层次型结构，文档中能够包含新的文档。3.灵活的结构，不依赖于预先定义的模式，文档是无模式的，并不是全部的文档都须要拥有相同的字段。4.ES类型类型是文档的逻辑容器，相似于数据库中的表，类型在 Elasticsearch中表示一类类似的文档，每一个类型中字段的定义称为映射。ES7.x已经将类型移除，7.x中一个索引只能有一个类型，默认为_doc。5.ES映射mapping映射, 就像数据库中的 schema ，定义索引中字段的名称、字段的数据类型（如 string, integer 或 date），设置字段倒排索引的相关配置。当索引文档遇到未定义的字段，会使用dynamic mapping 来肯定字段的数据类型，并自动把新增长的字段添加到类型映射。在实际生产中通常或禁用dynamic mapping，避免过多的字段致使cluster state占用过多，同时禁止自动建立索引的功能，建立索引时必须提供Mapping信息或者经过Index Template建立。6.ES索引　　ES索引是映射类型的容器，相似于数据库。7.ES分片一个分片是一个运行的Lucene的实例，是一个包含倒排索引的文件目录。一个ES索引由一个或多个主分片以及零个或多个副本分片组成，主分片数在索引建立时指定，后续不容许修改；副本分片主要用于解决数据高可用的问题，是主分片的拷贝，必定程度上提升服务的可读性。分片的设定：生产环境中主分片数的设定，须要提早作好容量规划，由于主分片的数量是不可修改的。若是分片数设置太小，则没法经过增长节点实现水平扩展，单个分片的数据量太大，致使数据从新分片耗时；若是分片数设置过大，则会影响搜索结果的相关性打分，浪费资源，同时影响性能。在了解了ES的基本概念以后，咱们经过一张图来探索一下ES索引的全流程：ES索引过程详解：1.客户端发送索引请求客户端向ES节点发送索引请求，以RestClient客户端发起请求为例，ES提供了Java High Level REST Client，能够经过RestClient发送请求：

 RestClient restClient = RestClient.builder(
            new HttpHost("127.0.0.1", 9200, "http"),
            new HttpHost("127.0.0.2", 9200, "http")
           ).build();

其中127.0.0.1，127.0.0.2是ES节点地址，充当coordinate node节点的角色，接收客户端请求，若是设置有专用coorinate node则应该将接受客户端请求的节点设置为该专用节点，负责请求的接受和转发。在RestClient中使用round-robin轮询算法，进行发送节点的选取。 2.参数检查。 对请求中的参数进行检查，检查参数是否合法，不合法的参数直接返回失败给客户端。 3.数据预处理 若是请求指定了pipeline参数，则对数据进行预处理，数据预处理的节点为Ingest Node，若是接受请求的节点不具有数据处理能力，则转发给其余能处理的节点。 在Ingest Node上有定义好的处理数据的Pipeline，Pipeline中有一组定义好的Processor，每一个Processor分别具备不一样的处理功能，ES提供了一些内置的Processor，如：split、join、set 、script等，同时也支持经过插件的方式，实现自定义的Processor。数据通过Pipeline处理完毕后继续进行下一步操做。 4.判断索引是否存在 判断索引是否存在。若是索引不存在，则判断是否可以自动建立，能够经过action.auto_create_index设置可否自动建立索引；若是节点支持Dynamic Mapping，写入文档时，若是字段还没有在mapping中定义，则会根据索引文档信息推算字段的类型，但并不能彻底推算正确。 配置Dynamic：true时，文档有新增字段的时候，索引的mapping也会同步更新。Dynamic：false时，索引的mapping不会被更新，新增字段没法被索引到。Dynamic：strict时，索引有新增字段时，将会报错。 5.建立索引 建立索引请求被发送到Master节点，由Master节点负责进行索引的建立，索引建立成功后，Master节点会更新集群状态clusterstate，更新完毕后将索引建立的状况返回给Coordinate节点，收到Master节点返回后，进入下一流程。 6.请求预处理 1）获取集群状态信息，判断集群是否正常； 2）从集群状态中获取对应索引的元信息，从元信息中获取索引的mapping、version等信息，从请求中解析routing、id信息，若是请求没有指定文档的id，则会生成一个UUID做为文档的id。 7.路由计算 根据请求的routing、id信息计算文档应该被索引到哪一个分片，计算公式为： shard_num = hash(_routing) % num_primary_shards 其中_routing默认值为文档id，num_primary_shards是主分片个数，因此从算法中便可以看出索引的主分片个数一旦指定便没法修改，由于文档利用主分片的个数来进行定位。当使用自定义_routing或者id时，按照上面的公式计算，数据可能会大量汇集于某些分片，形成数据分布不均衡，因此ES提供了routing_partition_size参数，routing_partition_size越大，数据的分布越均匀。此时分片的计算公式变为： shard_num = (hash(_routing) + hash(_id) % routing_partition_size) % num_primary_shards 定位到分片序号后，还须要定位分片所属的数据节点；从集群状态的内容路由表获取主分片所在的节点，并将请求转发至节点。须要注意的是分片到数据节点的映射关系不是固定的，当检测到数据分布不均匀、新节点加入或者节点宕掉等会进行分片的从新分配。 8.主分片索引文档 当主分片所在节点接受到请求后，节点开始进行本节点的文档写入，文档写入过程： 1）文档写入时，不会直接写入到磁盘中，而是先将文档写入到Index Buffer内存空间中，到必定的时间，Index Buffer会Refresh把内存中的文档写入Segment中。当文档在Index Buffer中时，是没法被查询到的，这就是ES不是实时搜索，而是近实时搜索的缘由。 2）由于文档写入时，先写入到内存中，当文档落盘以前，节点出现故障重启、宕机等，会形成内存中的数据丢失，因此索引写入的同时会同步向Transaction Log写入操做内容。 3）每隔固定的时间间隔ES会将Index Buffer中的文档写入到Segment中，这个写入的过程叫作Refresh，Refresh的时间能够经过index.refresh_interval设置，默认状况下为1秒。 4）写入到Segment中并不表明文档已经落盘，由于Segment写入磁盘的过程相对耗时，Refresh时会先将Segment写入缓存，开放查询，也就是说当文档写入Segment后就能够被查询到。每次refresh的时候都会生成一个新的segment，太多的Segment会占用过多的资源，并且每一个搜索请求都会遍历全部的Segment，Segment过多会致使搜索变慢，因此ES会按期合并Segment，减小Segment的个数，并将Segment和并为一个大的Segment；在操做Segment时，会维护一个Commit Point文件，其中记录了全部Segment的信息；同时维护.del文件用于记录全部删除的Segment信息。 单个倒排索引文件被称为Segment。多个Segment汇总在一块儿，就是Lucene的索引，对应的就是ES中的shard。 Lucene倒排索引由单词词典及倒排列表组成： 单词词典： 记录全部文档的单词，记录单词到倒排列表的关系，数据量比较大，通常采用B+树，哈希拉链法实现。 倒排列表： 记录单词对应的文档集合，由倒排索引项组成。倒排索引项结构如表所示：文档ID：记录单词所在文档的ID；词频：记录单词在文档中出现的次数；位置：记录单词在文档中的位置；偏移：记录单词的开始位置，结束位置。

DocId(文档ID)	TF(词频)	position(位置)	offset(偏移)
1	1	10	<10,20>
2	1	0	<0,5>

　　5）每隔必定的时间（默认30分钟），ES会调用Flush操做，Flush操做会调用Refresh将Index Buffer清空；而后调用fsync将缓存中的Segments写入磁盘；随后清空Transaction Log。当Transaction Log空间（默认512M）后也会触发Flush操做。9.副本分片索引文档当主分片完成索引操做后，会循环处理要写的全部副本分片，向副本分片所在的节点发送请求。副本分片执行和主分片同样的文档写入流程，而后返回写入结果给主分片节点。10.请求返回主分片收到副本分片的响应后，执行finish()操做，将收到响应信息返回给Coordinate节点，告知Coordinate节点文档写入的状况；coordinate节点收到响应后，将索引执行状况返回给客户端。至此一个文档索引的全过程结束，用户可经过ElasticSearch提供的接口进行数据的查询。ElasticSearch自诞生以来，使用热度愈来愈高，功能愈来愈强大。ES不只支持分布式、可扩展，还提供了RestFul风格接口，方便应用接入使用；适用于全部的数据类型，具有存储海量数据能力，拥有高性能的近实时检索功能，同时还提供了数据的近实时分析功能；适用于海量数据的近实时检索、分析，在日志、监控数据存储分析，集中式全文搜索方面应用较为普遍。