Elasticsearch分布式搜索集群配置

时间 2019-11-24

标签 elasticsearch 分布式搜索集群配置栏目日志分析繁體版

原文原文链接

配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你即可以进行配置。html

　　全部的配置均可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。node

下面列举一下elasticsearch的可配置项：git

1. 集群名称，默认为elasticsearch：cluster.name: elasticsearchgithub

2. 节点名称，es启动时会自动建立节点名称，但你也可进行配置：node.name: "Franz Kafka"bootstrap

3. 是否做为主节点，每一个节点均可以被配置成为主节点，默认值为true：node.master: true网络

4. 是否存储数据，即存储索引片断，默认值为true：node.data: true并发

master和data同时配置会产生一些奇异的效果：app

1) 当master为false，而data为true时，会对该节点产生严重负荷；负载均衡

2) 当master为true，而data为false时，该节点做为一个协调者；elasticsearch

3) 当master为false，data也为false时，该节点就变成了一个负载均衡器。

你能够经过链接http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes

或者使用插件http://github.com/lukas-vlcek/bigdesk或http://mobz.github.com/elasticsearch-head来查看集群状态。

5. 每一个节点均可以定义一些与之关联的通用属性，用于后期集群进行碎片分配时的过滤：node.rack: rack314

6. 默认状况下，多个节点能够在同一个安装路径启动，若是你想让你的es只启动一个节点，能够进行以下设置：node.max_local_storage_nodes: 1

7. 设置一个索引的碎片数量，默认值为5：index.number_of_shards: 5

8. 设置一个索引可被复制的数量，默认值为1：index.number_of_replicas: 1

当你想要禁用公布式时，你能够进行以下设置：

index.number_of_shards: 1

index.number_of_replicas: 0

这两个属性的设置直接影响集群中索引和搜索操做的执行。假设你有足够的机器来持有碎片和复制品，那么能够按以下规则设置这两个值：

1) 拥有更多的碎片能够提高索引执行能力，并容许经过机器分发一个大型的索引；

2) 拥有更多的复制器可以提高搜索执行能力以及集群能力。

对于一个索引来讲，number_of_shards只能设置一次，而number_of_replicas可使用索引更新设置API在任什么时候候被增长或者减小。

ElasticSearch关注加载均衡、迁移、从节点汇集结果等等。能够尝试多种设计来完成这些功能。

能够链接http://localhost:9200/A/_status来检测索引的状态。

9. 配置文件所在的位置，即elasticsearch.yml和logging.yml所在的位置：path.conf: /path/to/conf

10. 分配给当前节点的索引数据所在的位置：path.data: /path/to/data

能够可选择的包含一个以上的位置，使得数据在文件级别跨越位置，这样在建立时就有更多的自由路径，如：path.data: /path/to/data1,/path/to/data2

11. 临时文件位置：path.work: /path/to/work

12. 日志文件所在位置：path.logs: /path/to/logs

13. 插件安装位置：path.plugins: /path/to/plugins

14. 插件托管位置，若列表中的某一个插件未安装，则节点没法启动：plugin.mandatory: mapper-attachments,lang-groovy

15. JVM开始交换时，ElasticSearch表现并很差：你须要保障JVM不进行交换，能够将bootstrap.mlockall设置为true禁止交换：bootstrap.mlockall: true

请确保ES_MIN_MEM和ES_MAX_MEM的值是同样的，而且可以为ElasticSearch分配足够的内在，并为系统操做保留足够的内存。

16. 默认状况下，ElasticSearch使用0.0.0.0地址，并为http传输开启9200-9300端口，为节点到节点的通讯开启9300-9400端口，也能够自行设置IP地址：network.bind_host: 192.168.0.1

17. publish_host设置其余节点链接此节点的地址，若是不设置的话，则自动获取，publish_host的地址必须为真实地址：network.publish_host: 192.168.0.1

18. bind_host和publish_host能够一块儿设置：network.host: 192.168.0.1

19. 能够定制该节点与其余节点交互的端口：transport.tcp.port: 9300

20. 节点间交互时，能够设置是否压缩，转为为不压缩：transport.tcp.compress: true

21. 能够为Http传输监听定制端口：http.port: 9200

22. 设置内容的最大长度：http.max_content_length: 100mb

23. 禁止HTTP：http.enabled: false

24. 网关容许在全部集群重启后持有集群状态，集群状态的变动都会被保存下来，当第一次启用集群时，能够从网关中读取到状态，默认网关类型（也是推荐的）是local：gateway.type: local

25. 容许在N个节点启动后恢复过程：gateway.recover_after_nodes: 1

26. 设置初始化恢复过程的超时时间：gateway.recover_after_time: 5m

27. 设置该集群中可存在的节点上限：gateway.expected_nodes: 2

28. 设置一个节点的并发数量，有两种状况，一种是在初始复苏过程当中：cluster.routing.allocation.node_initial_primaries_recoveries: 4

另外一种是在添加、删除节点及调整时：cluster.routing.allocation.node_concurrent_recoveries: 2

29. 设置复苏时的吞吐量，默认状况下是无限的：indices.recovery.max_size_per_sec: 0

30. 设置从对等节点恢复片断时打开的流的数量上限：indices.recovery.concurrent_streams: 5

31. 设置一个集群中主节点的数量，当多于三个节点时，该值可在2-4之间：discovery.zen.minimum_master_nodes: 1

32. 设置ping其余节点时的超时时间，网络比较慢时可将该值设大：discovery.zen.ping.timeout: 3s

http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多关于discovery的设置。

33. 禁止当前节点发现多个集群节点，默认值为true：discovery.zen.ping.multicast.enabled: false

34. 设置新节点被启动时可以发现的主节点列表：discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

转载：http://www.cnblogs.com/hunttown/p/5450602.html

# ======================== Elasticsearch Configuration =========================## NOTE: Elasticsearch comes with reasonable defaults for most settings.# Before you set out to tweak and tune the configuration, make sure you# understand what are you trying to accomplish and the consequences.## The primary way of configuring a node is via this file. This template lists# the most important settings you may want to configure for a production cluster.## Please see the documentation for further information on configuration options:# <http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html>## ---------------------------------- Cluster 集群名字 -----------------------------------## Use a descriptive name for your cluster:#cluster.name: MyElasticearch## ------------------------------------ Node 节点信息------------------------------------## Use a descriptive name for the node:#节点名字node.name: node-1#设置为主节点node.master: true#是否存储数据node.data: true#多个节点能够在同一个安装路径启动，若是你想让你的es只启动一个节点#node.max_local_storage_nodes: 1#设置一个索引的碎片数量，默认值为5#index.number_of_shards: 5#设置一个索引可被复制的数量，默认值为1：#index.number_of_replicas: 1## Add custom attributes to the node:## node.rack: r1## ----------------------------------- Paths ------------------------------------# 配置文件所在的位置，即elasticsearch.yml和logging.yml所在的位置：path.conf: /path/to/conf## Path to directory where to store the data (separate multiple locations by comma):## path.data: /path/to/data## Path to log files:## path.logs: /path/to/logs## ----------------------------------- Memory -----------------------------------## Lock the memory on startup:## bootstrap.mlockall: true## Make sure that the `ES_HEAP_SIZE` environment variable is set to about half the memory# available on the system and that the owner of the process is allowed to use this limit.## Elasticsearch performs poorly when the system is swapping the memory.## ---------------------------------- Network -----------------------------------## Set the bind address to a specific IP (IPv4 or IPv6):#network.host: 192.168.1.102## Set a custom port for HTTP:#Http传输监听定制端口http.port: 9200##定制该节点与其余节点交互的端口：transport.tcp.port: 9300#节点间交互时，能够设置是否压缩，转为为不压缩：#transport.tcp.compress: true#设置内容的最大长度：#http.max_content_length: 100mb#禁止HTTP：#http.enabled: false#网关容许在全部集群重启后持有集群状态，集群状态的变动都会被保存下来，当第一次启用集群时，能够从网关中读取到状态，默认网关类型（也是推荐的）是local：#gateway.type: local# For more information, see the documentation at:# <http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-network.html>## --------------------------------- Discovery ----------------------------------## Pass an initial list of hosts to perform discovery when new node is started:# The default list of hosts is ["127.0.0.1", "[::1]"]##设置新节点被启动时可以发现的主节点列表：discovery.zen.ping.unicast.hosts: ["192.168.1.102", "192.168.1.103:9200"]# discovery.zen.ping.unicast.hosts: ["host1", "host2"]## Prevent the "split brain" by configuring the majority of nodes (total number of nodes / 2 + 1):#禁止当前节点发现多个集群节点，默认值为true：discovery.zen.ping.multicast.enabled: false#设置一个集群中主节点的数量，当多于三个节点时，该值可在2-4之间：# discovery.zen.minimum_master_nodes: 1## For more information, see the documentation at:# <http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-discovery.html>## ---------------------------------- Gateway -----------------------------------## Block initial recovery after a full cluster restart until N nodes are started:##容许在N个节点启动后恢复过程：gateway.recover_after_nodes: 3#设置初始化恢复过程的超时时间：gateway.recover_after_time: 5m#设置该集群中可存在的节点上限：gateway.expected_nodes: 2设置ping其余节点时的超时时间，网络比较慢时可将该值设大 discovery.zen.ping.timeout: 3s# For more information, see the documentation at:# <http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-gateway.html>## ---------------------------------- Various -----------------------------------## Disable starting multiple nodes on a single system:## node.max_local_storage_nodes: 1## Require explicit names when deleting indices:## action.destructive_requires_name: true