ELK & ElasticSearch 5.1 基础概念及配置文件详解【转】

时间 2019-11-06

标签 elk elasticsearch 5.1 基础概念配置文件详解栏目日志分析繁體版

原文原文链接

转自：https://blog.csdn.net/zxf_668899/article/details/54582849html

1. 配置文件

elasticsearch/elasticsearch.yml   主配置文件
elasticsearch/jvm.options         jvm参数配置文件
elasticsearch/log4j2.properties   日志配置文件

2. 基本概念

接近实时（NRT）

Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档可以被搜索到有一个很小的延迟（一般是 1 秒）。

集群（cluster）

表明一个集群，集群中有多个节点（node），其中有一个为主节点，这个主节点是能够经过选举产生的，主从节点是对于集群内部来讲的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来讲的，由于从外部来看es集群，在逻辑上是个总体，你与任何一个节点的通讯和与整个es集群通讯是等价的。

索引（index）

ElasticSearch将它的数据存储在一个或多个索引（index）中。用SQL领域的术语来类比，索引就像数据库，能够向索引写入文档或者从索引中读取文档，并经过ElasticSearch内部使用Lucene将数据写入索引或从索引中检索数据。

文档（document）

文档（document）是ElasticSearch中的主要实体。对全部使用ElasticSearch的案例来讲，他们最终均可以归结为对文档的搜索。文档由字段构成。

映射（mapping）

全部文档写进索引以前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫作映射（mapping）。通常由用户本身定义规则。

类型（type）

每一个文档都有与之对应的类型（type）定义。这容许用户在一个索引中存储多种文档类型，并为不一样文档提供类型提供不一样的映射。

分片（shards）

表明索引分片，es能够把一个完整的索引分红多个分片，这样的好处是能够把一个大的索引拆分红多个，分布到不一样的节点上。构成分布式搜索。分片的数量只能在索引建立前指定，而且索引建立后不能更改。

副本（replicas）

表明索引副本，es能够设置多个索引的副本，副本的做用一是提升系统的容错性，当个某个节点某个分片损坏或丢失时能够从副本中恢复。二是提升es的查询效率，es会自动对搜索请求进行负载均衡。

数据恢复（recovery）

表明数据恢复或叫数据从新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行从新分配，挂掉的节点从新启动时也会进行数据恢复。

数据源（River）

表明es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，经过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的，river这个功能将会在后面的文件中重点说到。

网关（gateway）

表明es索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个es集群关闭再从新启动时就会从gateway中读取索引数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。

自动发现（discovery.zen）

表明es的自动发现节点机制，es是一个基于p2p的系统，它先经过广播寻找存在的节点，再经过多播协议来进行节点之间的通讯，同时也支持点对点的交互。

通讯（Transport）

表明es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（经过插件方式集成）。

分片和复制（shards and replicas）

一个索引能够存储超出单个结点硬件限制的大量数据。好比，一个具备10亿文档的索引占据1TB的磁盘空间，而任一节点可能没有这样大的磁盘空间来存储或者单个节点处理搜索请求，响应会太慢。node

为了解决这个问题，Elasticsearch提供了将索引划分红多片的能力，这些片叫作分片。当你建立一个索引的时候，你能够指定你想要的分片的数量。每一个分片自己也是一个功能完善而且独立的“索引”，这个“索引” 能够被放置到集群中的任何节点上。linux

分片之因此重要，主要有两方面的缘由：git

容许你水平分割/扩展你的内容容量
容许你在分片（位于多个节点上）之上进行分布式的、并行的操做，进而提升性能/吞吐量
至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是彻底由Elasticsearch管理的，对于做为用户的你来讲，这些都是透明的。

在一个网络/云的环境里，失败随时均可能发生。在某个分片/节点由于某些缘由处于离线状态或者消失的状况下，故障转移机制是很是有用且强烈推荐的。为此， Elasticsearch容许你建立分片的一份或多份拷贝，这些拷贝叫作复制分片，或者直接叫复制。github

复制之因此重要，有两个主要缘由：数据库

在分片/节点失败的状况下，复制提供了高可用性。复制分片不与原/主要分片置于同一节点上是很是重要的。由于搜索能够在全部的复制上并行运行，复制能够扩展你的搜索量/吞吐量
总之，每一个索引能够被分红多个分片。一个索引也能够被复制0次（即没有复制）或屡次。一旦复制了，每一个索引就有了主分片（做为复制源的分片）和复制分片（主分片的拷贝）。
分片和复制的数量能够在索引建立的时候指定。在索引建立以后，你能够在任什么时候候动态地改变复制的数量，可是你不能再改变分片的数量。

默认状况下，Elasticsearch中的每一个索引分配5个主分片和1个复制。这意味着，若是你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个彻底拷贝），这样每一个索引总共就有10个分片。json

elasticsearch . yml 详解

##################### Elasticsearch Configuration Example ##################### # # 只是挑些重要的配置选项进行注释,其实自带的已经有很是细致的英文注释了! # https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html # ################################### Cluster ################################### # 表明一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是能够经过选举产生的,主从节点是对于集群内部来讲的. # es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来讲的,由于从外部来看es集群,在逻辑上是个总体,你与任何一个节点的通讯和与整个es集群通讯是等价的。 # cluster.name能够肯定你的集群名称,当你的elasticsearch集群在同一个网段中elasticsearch会自动的找到具备相同cluster.name的elasticsearch服务. # 因此当同一个网段具备多个elasticsearch集群时cluster.name就成为同一个集群的标识. # cluster.name: elasticsearch #################################### Node ##################################### # https://www.elastic.co/guide/en/elasticsearch/reference/5.1/modules-node.html#master-node # 节点名称同理,可自动生成也可手动配置. # node.name: node-1 # 容许一个节点是否能够成为一个master节点,es是默认集群中的第一台机器为master,若是这台机器中止就会从新选举master. # node.master: true # 容许该节点存储数据(默认开启) # node.data: true # 配置文件中给出了三种配置高性能集群拓扑结构的模式,以下： # 1. 若是你想让节点从不选举为主节点,只用来存储数据,可做为负载器 # node.master: false # node.data: true # node.ingest: false # 2. 若是想让节点成为主节点,且不存储任何数据,并保有空闲资源,可做为协调器 # node.master: true # node.data: false # node.ingest: false # 3. 若是想让节点既不称为主节点,又不成为数据节点,那么可将他做为搜索器,从节点中获取数据,生成搜索结果等 # node.master: false # node.data: false # node.ingest: true (可不指定默认开启) # 4. 仅做为协调器 # node.master: false # node.data: false # node.ingest: false # 监控集群状态有一下插件和API可使用: # Use the Cluster Health API [http://localhost:9200/_cluster/health], the # Node Info API [http://localhost:9200/_nodes] or GUI tools # such as <http://www.elasticsearch.org/overview/marvel/>, # <http://github.com/karmi/elasticsearch-paramedic>, # <http://github.com/lukas-vlcek/bigdesk> and # <http://mobz.github.com/elasticsearch-head> to inspect the cluster state. # A node can have generic attributes associated with it, which can later be used # for customized shard allocation filtering, or allocation awareness. An attribute # is a simple key value pair, similar to node.key: value, here is an example: # 每一个节点均可以定义一些与之关联的通用属性，用于后期集群进行碎片分配时的过滤 # node.rack: rack314 # 默认状况下，多个节点能够在同一个安装路径启动，若是你想让你的es只启动一个节点，能够进行以下设置 # node.max_local_storage_nodes: 1 #################################### Index #################################### # 设置索引的分片数,默认为5 #index.number_of_shards: 5 # 设置索引的副本数,默认为1: #index.number_of_replicas: 1 # 配置文件中提到的最佳实践是,若是服务器够多,能够将分片提升,尽可能将数据平均分布到大集群中去 # 同时,若是增长副本数量能够有效的提升搜索性能 # 须要注意的是,"number_of_shards" 是索引建立后一次生成的,后续不可更改设置 # "number_of_replicas" 是能够经过API去实时修改设置的 #################################### Paths #################################### # 配置文件存储位置 # path.conf: /path/to/conf # 数据存储位置(单个目录设置) # path.data: /path/to/data # 多个数据存储位置,有利于性能提高 # path.data: /path/to/data1,/path/to/data2 # 临时文件的路径 # path.work: /path/to/work # 日志文件的路径 # path.logs: /path/to/logs # 插件安装路径 # path.plugins: /path/to/plugins #################################### Plugin ################################### # 设置插件做为启动条件,若是一下插件没有安装,则该节点服务不会启动 # plugin.mandatory: mapper-attachments,lang-groovy ################################### Memory #################################### # 当JVM开始写入交换空间时（swapping）ElasticSearch性能会低下,你应该保证它不会写入交换空间 # 设置这个属性为true来锁定内存,同时也要容许elasticsearch的进程能够锁住内存,linux下能够经过 `ulimit -l unlimited` 命令 # bootstrap.mlockall: true # 确保 ES_MIN_MEM 和 ES_MAX_MEM 环境变量设置为相同的值,以及机器有足够的内存分配给Elasticsearch # 注意:内存也不是越大越好,通常64位机器,最大分配内存别才超过32G ############################## Network And HTTP ############################### # 设置绑定的ip地址,能够是ipv4或ipv6的,默认为0.0.0.0 # network.bind_host: 192.168.0.1 # 设置其它节点和该节点交互的ip地址,若是不设置它会自动设置,值必须是个真实的ip地址 # network.publish_host: 192.168.0.1 # 同时设置bind_host和publish_host上面两个参数 # network.host: 192.168.0.1 # 设置节点间交互的tcp端口,默认是9300 # transport.tcp.port: 9300 # 设置是否压缩tcp传输时的数据，默认为false,不压缩 # transport.tcp.compress: true # 设置对外服务的http端口,默认为9200 # http.port: 9200 # 设置请求内容的最大容量,默认100mb # http.max_content_length: 100mb # 使用http协议对外提供服务,默认为true,开启 # http.enabled: false ###################### 使用head等插件监控集群信息，须要打开如下配置项 ########### # http.cors.enabled: true # http.cors.allow-origin: "*" # http.cors.allow-credentials: true ################################### Gateway ################################### # gateway的类型,默认为local即为本地文件系统,能够设置为本地文件系统 # gateway.type: local # 下面的配置控制怎样以及什么时候启动一整个集群重启的初始化恢复过程 # (当使用shard gateway时,是为了尽量的重用local data(本地数据)) # 一个集群中的N个节点启动后,才容许进行恢复处理 # gateway.recover_after_nodes: 1 # 设置初始化恢复过程的超时时间,超时时间从上一个配置中配置的N个节点启动后算起 # gateway.recover_after_time: 5m # 设置这个集群中指望有多少个节点.一旦这N个节点启动(而且recover_after_nodes也符合), # 当即开始恢复过程(不等待recover_after_time超时) # gateway.expected_nodes: 2 ############################# Recovery Throttling ############################# # 下面这些配置容许在初始化恢复,副本分配,再平衡,或者添加和删除节点时控制节点间的分片分配 # 设置一个节点的并行恢复数 # 1.初始化数据恢复时,并发恢复线程的个数,默认为4 # cluster.routing.allocation.node_initial_primaries_recoveries: 4 # 2.添加删除节点或负载均衡时并发恢复线程的个数,默认为2 # cluster.routing.allocation.node_concurrent_recoveries: 2 # 设置恢复时的吞吐量(例如:100mb,默认为0无限制.若是机器还有其余业务在跑的话仍是限制一下的好) # indices.recovery.max_bytes_per_sec: 20mb # 设置来限制从其它分片恢复数据时最大同时打开并发流的个数,默认为5 # indices.recovery.concurrent_streams: 5 # 注意: 合理的设置以上参数能有效的提升集群节点的数据恢复以及初始化速度 ################################## Discovery ################################## # 设置这个参数来保证集群中的节点能够知道其它N个有master资格的节点.默认为1,对于大的集群来讲,能够设置大一点的值(2-4) # discovery.zen.minimum_master_nodes: 1 # 探查的超时时间,默认3秒,提升一点以应对网络很差的时候,防止脑裂 # discovery.zen.ping.timeout: 3s # For more information, see # <http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html> # 设置是否打开多播发现节点.默认是true. # 当多播不可用或者集群跨网段的时候集群通讯仍是用单播吧 # discovery.zen.ping.multicast.enabled: false # 这是一个集群中的主节点的初始列表,当节点(主节点或者数据节点)启动时使用这个列表进行探测 # discovery.zen.ping.unicast.hosts: ["host1", "host2:port"] # Slow Log部分与GC log部分略,不过能够经过相关日志优化搜索查询速度 ################ X-Pack ########################################### # 官方插件 相关设置请查看此处 # https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html # ############## Memory(重点须要调优的部分) ################ # Cache部分: # es有不少种方式来缓存其内部与索引有关的数据.其中包括filter cache # filter cache部分: # filter cache是用来缓存filters的结果的.默认的cache type是node type.node type的机制是全部的索引内部的分片共享filter cache.node type采用的方式是LRU方式.即:当缓存达到了某个临界值以后，es会将最近没有使用的数据清除出filter cache.使让新的数据进入es. # 这个临界值的设置方法以下：indices.cache.filter.size 值类型：eg.:512mb 20%。默认的值是10%。 # out of memory错误避免过于频繁的查询时集群假死 # 1.设置es的缓存类型为Soft Reference,它的主要特色是据有较强的引用功能.只有当内存不够的时候,才进行回收这类内存,所以在内存足够的时候,它们一般不被回收.另外,这些引用对象还能保证在Java抛出OutOfMemory异常以前,被设置为null.它能够用于实现一些经常使用图片的缓存,实现Cache的功能,保证最大限度的使用内存而不引发OutOfMemory.在es的配置文件加上index.cache.field.type: soft便可. # 2.设置es最大缓存数据条数和缓存失效时间,经过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000,设置index.cache.field.expire: 10m把过时时间设置成10分钟. # index.cache.field.max_size: 50000 # index.cache.field.expire: 10m # index.cache.field.type: soft # field data部分&&circuit breaker部分： # 用于fielddata缓存的内存数量,主要用于当使用排序,faceting操做时,elasticsearch会将一些热点数据加载到内存中来提供给客户端访问,可是这种缓存是比较珍贵的,因此对它进行合理的设置. # 可使用值：eg:50mb 或者 30％(节点 node heap内存量),默认是：unbounded #indices.fielddata.cache.size： unbounded # field的超时时间.默认是-1,能够设置的值类型: 5m #indices.fielddata.cache.expire: -1 # circuit breaker部分: # 断路器是elasticsearch为了防止内存溢出的一种操做,每一种circuit breaker均可以指定一个内存界限触发此操做,这种circuit breaker的设定有一个最高级别的设定:indices.breaker.total.limit 默认值是JVM heap的70%.当内存达到这个数量的时候会触发内存回收 # 另外还有两组子设置： #indices.breaker.fielddata.limit:当系统发现fielddata的数量达到必定数量时会触发内存回收.默认值是JVM heap的70% #indices.breaker.fielddata.overhead:在系统要加载fielddata时会进行预先估计,当系统发现要加载进内存的值超过limit * overhead时会进行进行内存回收.默认是1.03 #indices.breaker.request.limit:这种断路器是elasticsearch为了防止OOM(内存溢出),在每次请求数据时设定了一个固定的内存数量.默认值是40% #indices.breaker.request.overhead:同上,也是elasticsearch在发送请求时设定的一个预估系数,用来防止内存溢出.默认值是1 # Translog部分: # 每个分片(shard)都有一个transaction log或者是与它有关的预写日志,(write log),在es进行索引(index)或者删除(delete)操做时会将没有提交的数据记录在translog之中,当进行flush 操做的时候会将tranlog中的数据发送给Lucene进行相关的操做.一次flush操做的发生基于以下的几个配置 #index.translog.flush_threshold_ops:当发生多少次操做时进行一次flush.默认是 unlimited #index.translog.flush_threshold_size:当translog的大小达到此值时会进行一次flush操做.默认是512mb #index.translog.flush_threshold_period:在指定的时间间隔内若是没有进行flush操做,会进行一次强制flush操做.默认是30m #index.translog.interval:多少时间间隔内会检查一次translog,来进行一次flush操做.es会随机的在这个值到这个值的2倍大小之间进行一次操做,默认是5s #index.gateway.local.sync:多少时间进行一次的写磁盘操做,默认是5s # 以上的translog配置均可以经过API进行动态的设置 - See more at: http://bigbo.github.io/pages/2015/04/10/elasticsearch_config/#sthash.AvOSUcQ4.dpuf