ElasticSearch单机部署多实例环境

PS：本文针对ElasticSearch版本6.0.0，各位看官看以前麻烦看一下本身使用的版本，版本不同，使用也不同。

    一般咱们认为一个集群是一组拥有相同cluster_name的节点组成的，所以也能够变相的认为单节点就构成了一个集群。

    以前有提到如何在服务器上部署es的单个实例，在安装完以后咱们来查看这个由单节点构成的集群的cluster health，执行命令curl 'http://127.0.0.1:9200/_cluster/health?pretty', 

能够发现这个单节点集群的健康状态显示为yellow，而不是彻底健康的状态，这表明着全部的主分片都正常运行，集群能够正常工做，可是副本分片没有所有正常运行。

    具体到这个案例中，集群健康显示为yellow的缘由是由于全部的副本分片都没有分配到节点中，看上方截图的unassigned shards 。这是由于副本分片本就是用来作冗余备份的，若是只有一个节点，副本分片和主分片都存在同一个节点中，一旦失去惟一节点，则全部数据都会丢失，因此备份没有意义，es没有给副本分片分配到节点中。

    既然这个缘由是只有单个节点致使的，则能够经过在单机上部署多个节点来解决该问题。对于部署多个节点，官方文档的建议是：能够彻底依照启动第一个节点的方式启动一个新的节点。。。。亲测并不能行。。。。

下面是具体操做步骤，遇到的问题和解决方案：

1. 按照官方文档所述，直接又执行了一遍命令：./bin/elasticsearch -d -Ecluster.name=my_cluster -Enode.name=node_2， 现状是直接报错了，错误信息以下：

 错误信息提示要么是没有目录的写权限要么是node.max_local_storage_nodes 这个配置参数没有配置或者配置的是1；官方文档搜一下会发现es默认不容许单机开启多个node的，该参数限制了单机能够开启的es实例个数。

    2. 修改$ES_HOME/config下的文件elasticsearch.yml，增长配置项node.max_local_storage_nodes: 2  

    3. kill以前运行的节点，而后依次执行以下命令：

1 ./bin/elasticsearch -d -Ecluster.name=my_cluster -Enode.name=node_1
2 curl 'http://127.0.0.1:9200/_cluster/health?pretty';
3 ./bin/elasticsearch -d -Ecluster.name=my_cluster -Enode.name=node_2
4 curl 'http://127.0.0.1:9200/_cluster/health?pretty';

  能够看到建立node_1以后，集群健康状态是yellow，可是建立node_2以后，健康状态就是green了，此时unassigned_shards也是0，以下图：

 

     4. 上面其实已经算是实现了本文的功能，可是能够看到上文全部的操做步骤都是经过命令行实现的，若是须要开启不少个实例而且每一个实例都有些不同的话，显然命令行不是一个明智的选择。能够考虑在$ES_HOME/config下建立单独文件夹来存放节点单独的配置文件，一个节点对应一个文件夹， 操做以下：

[java@plugin01v /usr/java/elasticsearch-6.0.0/config]$ mkdir my_cluster
[java@plugin01v /usr/java/elasticsearch-6.0.0/config]$ cp elasticsearch.yml jvm.options log4j2.properties my_cluster/
[java@plugin01v /usr/java/elasticsearch-6.0.0/config]$ cd my_cluster/
[java@plugin01v /usr/java/elasticsearch-6.0.0/config/my_cluster]$ ll
total 16
-rw-rw---- 1 java java 3521 Dec  7 21:37 elasticsearch.yml
-rw-rw---- 1 java java 2672 Dec  7 18:20 jvm.options
-rw-rw---- 1 java java 5091 Dec  7 18:20 log4j2.properties

再修改elasticsearch.yml的配置内容（此处提一下遇到的坑，网上不少博客里面的配置都是很是老的版本的es了，直接用的话会致使不少报错，读者必定要看下对应的版本）：

#集群名称，用以区分节点属于哪一个集群
cluster.name: my_cluster   
node.name: node_2
#是否让这个节点做为默认的master
node.master: false  
node.data: true  
network.host: 0.0.0.0
#对外http访问端口
http.port: 9201
#集群内部通讯端口
transport.tcp.port: 9301
#存放节点数据的目录
path.data: /usr/java/elasticsearch-6.0.0/data1
#存放日志的目录
path.logs: /usr/java/elasticsearch-6.0.0/logs1
#发现其余节点的主机列表
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300"]
#默认状况下单机不容许开启多个node，该配置限制了单节点上能够开启的es实例个数
node.max_local_storage_nodes: 2
thread_pool.index.queue_size: 400
thread_pool.bulk.queue_size: 5000
bootstrap.memory_lock: fals

 5. 修改完以后执行命令：./bin/elasticsearch -Epath.conf=/usr/java/elasticsearch-6.0.0/config/my_cluster -Ecluster.name=my_cluster -Enode.name=node_2   会发现有报错，看一下错误信息：

    查看了文档和官方论坛，对于为何不能使用-Epath.conf也没有一个明确的解释，只看到说能够用脚原本启动节点。遂写了两个启动脚本：

#!/bin/bash
#es实例启动脚本

CURRENT_PROJECT=$(pwd)/..
//节点的配置信息
export ES_PATH_CONF=$CURRENT_PROJECT/config/default
DATA=$CURRENT_PROJECT/data
LOGS=$CURRENT_PROJECT/logs
REPO=$CURRENT_PROJECT/backups
NODE_NAME=node_1
CLUSTER_NAME=my_cluster

BASH_ES_OPTS="-Epath.data=$DATA -Epath.logs=$LOGS -Epath.repo=$REPO -Enode.name=$NODE_NAME -Ecluster.name=$CLUSTER_NAME"

$CURRENT_PROJECT/bin/elasticsearch -d $BASH_ES_OPTS

    6. 分别执行两个脚本，第一个脚本正常运行，第二个就报错了，错误信息是：

• max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
• max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

       对应修改以下：

[pengzecheng@plugin01v /usr/java/elasticsearch-6.0.0/logs1] sudo su   
[root@plugin01v /usr/java/elasticsearch-6.0.0/scripts] ulimit -n    //查看最大文件描述符个数        
1024
[root@plugin01v /usr/java/elasticsearch-6.0.0/scripts] ulimit -n 65536  //设置
[root@plugin01v /usr/java/elasticsearch-6.0.0/scripts] sysctl -w vm.max_map_count=262144
[root@plugin01v /usr/java/elasticsearch-6.0.0/scripts] su java     //切换到elasticsearch的执行帐号，注意此时不能够退出root，由于文件描述符的设置只在当前session生效
[java@plugin01v /usr/java/elasticsearch-6.0.0/scripts] sh my_cluster_node_2.sh   //执行第二个脚本成功

    最后，查看一下各个节点对应的最大文件描述符，执行命令：curl -XGET 'localhost:9200/_nodes/stats/process?filter_path=**.max_file_descriptors&pretty'

符合预期。。。