Elasticsearch节点，集群，分片及副本

elasticsearch其实就是一个分布式系统，须要知足分布式系统具有的高可用性和可扩展性

分布式系统的可用性与扩展性

• 高可用性
  • 服务可用性-容许有节点中止服务
  • 数据可用性-部分节点丢失，不会丢失数据
• 可扩展性
  • 请求量提高/数据的不断增加（将数据分布到全部节点上）

分布式特性

• elasticsearch的分布式架构好处
  • 存储的水平扩容
  • 提升系统的可用性，部分节中止服务，整个集群的服务不受影响
• ElasticSearch的分布式架构
  • 不一样的集群经过不一样的名字来区分，默认名字”elasticsearch“
  • 经过配置文件修改，或者在命令行中 -E cluster.name=geektime进行设定
  • 一个集群能够用多个节点

节点

• 是一个elasticsearch的实例
  • 本质上是一个java进程
  • 一台机器上能够运行多个elasticsearch进程，可是生产环境通常建议一台机器上运行一个elasticsearch实例
• 每个节点都有名字，经过配置文件配置，或者启动时候 -E node.name=node1 指定
• 每个节点在启动以后，会分配一个UID，保存在data目录下

不一样的节点承担了不一样的角色

Master-eligible nodes和Master Node

• 每一个节点启动后，默认就是一个Master eligible节点
  • 能够设置node.master:false禁止
• Master-eligible节点能够参加选主流程，成为master节点
• 当第一个节点启动时候，它会将本身选举成Master节点
• 每一个节点上保存了集群的状态，只有master节点才能修改集群的状态信息
  • 集群状态（Cluster State)，维护了一个集群中，必要的信息
    • 全部的节点信息
    • 全部的索引和其相关的Mapping与Setting信息
    • 分片的路由信息
  • 任意节点都能修改信息会致使数据的不一致性

Data Node & Coordinate Node

• Data Node
  • 能够保存数据的节点，叫作Data Node，负责保存分片数据。在数据扩展上起到了相当重要的做用
• Coordinate Node
  • 负责接受Client的请求，将请求分发到合适的节点，最终将结果聚集到一块儿
  • 每一个节点默认起到了Coordinate Node的职责

其余的节点类型

• Hot & Warm Node
  • 不一样硬件配置的Data Node，用来实现Hot & Warm架构，下降集群部署的成本
• Machine Learning Node
  • 负责跑机器学习的 Job,用来作异常检测
• Tribe Node
  • 5.3开始使用Cross Cluster Search ，Tribe Node链接到不一样的Elasticsearch集群，而且支持将这些集群当成一个单独的集群处理

配置节点类型

• 开发环境中一个节点能够承担多种角色
• 生产环境配置单一角色：更好性能，单一角色

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	每一个节点默认都是coordinate节点。设置其余类型为false
machine learning	node.ml	true(需设置 enable x-pack)

分片（Primary Shard & Replica Shard)

• 主分片，用以解决数据水平扩展的问题。经过主分片，能够将数据分布到集群内的全部节点之上

  • 一个分片是一个运行的 Lucene 的实例
  • 主分片数在索引建立时指定，后续不容许修改，除非 经过Reindex方式进行

• 副本，用以解决数据高可用的问题，分片是主分片的拷贝

  • 副本分片数，能够动态调整
  • 增长副本数，还能够在必定程度上提升服务的可用性（读取的吞吐）

• 一个三节点的集群中，blogs索引的分片分布状况

一个主分片分散到三个节点上，每一个节点存在一个副本分片

分片的设定

• 对于生成环境分片的设定，须要提早作好容量规划
  • 分片数设置太小
    • 致使后续没法增长节点实现水平扩展
    • 单个分片的数据量太大，致使数据从新分配耗时
  • 分片数设置过大，7.0开始，默认主分片设置为1，解决了over-sharding的问题
    • 影响搜索结果的相关性打分，影响统计结果的准确性
    • 单个节点上过多的分片，会致使资源浪费，同时也会影响性能

查看集群的健康情况

GET _cluster/health

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 6,
  "active_shards" : 6,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 1,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 85.71428571428571
}
复制代码

• Green-主分片与副本都正常分配
• Yellow-主分片所有正常分配，副本分片未能正常分配
• Red-有主分片未能分配
  • 例如，当服务器的磁盘容量超过85%时，去建立一个新的索引

安装cerebro

• 建议经过github先下载文件（下载地址：github.com/lmenezes/ce…)，而后进行安装

  tar zxvf cerebro-0.8.4.tgz
  cd cerebro-0.8.4
  复制代码

• 启动

  bin/cerebro

• 访问网址：http://ip:9000

集群中目前只有一个工做节点

操做示例

• 须要经过Kibana导入Sample Data的电商数据。具体参考“Kibana的安装与界面快速浏览”

get _cat/nodes?v
GET /_nodes/es7_01,es7_02
GET /_cat/nodes?v
GET /_cat/nodes?v&h=id,ip,port,v,m


GET _cluster/health
GET _cluster/health?level=shards
GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights
GET /_cluster/health/kibana_sample_data_flights?level=shards

#### cluster state
The cluster state API allows access to metadata representing the state of the whole cluster. This includes information such as
GET /_cluster/state

#cluster get settings
GET /_cluster/settings
GET /_cluster/settings?include_defaults=true

GET _cat/shards
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason

复制代码

相关阅读

• CAT Nodes API
• Cluster API
• CAT Shards API