ElasticSearch（一）：基本概念

ElasticSearch（一）：基本概念

学习课程连接《Elasticsearch核心技术与实战》

基本概念示意图

索引与文档更偏向于开发人员的视角，属于逻辑上的一种概念；节点与分片更偏向于运维人员的视角，属于物理上的一种概念。

索引

• Index——索引是文档的容器，是一类文档的集合
  • Index体现了逻辑空间的概念：每一个索引都有本身的Mapping定义，用于定义包含的文档的字段名和字段类型
  • Shard体现了物理空间的概念：索引中的数据分散在Shard上
• 索引的Mapping与Settings
  • Mapping定义文档字段的类型
  • Setting定义不一样的数据分布
• 索引的不一样语意
  • 名词：一个Elasticsearch集群中，能够建立不少个不一样的索引
  • 动词：保存一个文档到Elasticsearch的过程也叫索引（indexing）；索引（动词）文档到ElasticSearch的索引（名词）中
  • 名词：一个B树索引，一个倒排索引

文档（Document）

• Elasticsearch是面向文档的，文档是全部可搜索数据的最小单位。
  • 日志文件中的日志项
  • 一部电影的具体信息/一张唱片的详细信息
  • MP3播放器里的一首歌/一篇PDF文档中的具体内容
• 文档会被序列化成JSON格式，保存在Elasticsearch中
  • JSON对象由字段组成
  • 每一个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）
• 每一个文档都有一个惟一的ID
  • 你能够本身指定ID
  • 或者经过Elasticsearch自动生成
• 文档的元数据
  • _index——文档所属的索引名
  • _type——文档所属的类型名
  • _id——文档惟一ID
  • _version——文档的版本信息
  • _scope——相关性打分
  • _source——文档的原始JSON数据

集群

• ElasticSearch集群其实是一个分布式系统，而分布式系统须要具有两个特性：
  • 高可用性： 服务可用性：容许有节点中止服务；数据可用性：部分节点丢失，不会丢失数据。
  • 可扩展性：随着请求量的不断提高，数据量的不断增加，系统能够将数据分布到其余节点，实现水平扩展。
• Elasticsearch的分布式架构
  • 不一样的集群经过不一样的名字来区分，默认名字elasticsearch
  • 经过配置文件修改，或者在命令行中 -E cluster.name=geektime进行设定
  • 一个集群能够有一个或者多个节点

节点

• 节点是一个Elasticsearch的实例，本质上就是一个Java进程。
• 每一个节点都有名字，能够经过配置文件进行配置，也能够经过命令行进行指定，如：-E node.name=node1。
• 每一个节点在启动以后，会被分配一个UID，保存在data目录下。

节点类型

• Master-Eligible Node与Master Node
  • 每一个节点启动以后，默认就是一个Master Eligible节点，固然能够在配置文件中将其禁止，node.master:false。
  • Master-Eligible Node能够参加选主流程，成为Master Node。
  • 当第一个节点启动时，它会将其选举为Master Node。
  • 每一个节点都保存了集群状态，但只有Master Node才能修改集群的状态。
• Data Node
  • 能够保存数据的节点，负责保存分片数据，在数据扩展上起到相当重要的做用。
• Coordinating Node
  • 它经过接受Rest Client的请求，会将请求分发到合适的节点，最终将结果聚集到一块儿。
  • 每一个节点都默认起到Coordinating Node的职责
• Hot &Warm Node
  • 不一样硬件配置的Data Node，来实现Hot &Warm架构，下降集群部署的成本。
• Machine Learning Node
  • 负责机器学习的节点，经常使用来作异常检测。

节点类型配置

• 开发环境中一个节点能够承担多种角色。
• 生成环境中，应该设置单一的节点角色

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	设置其余类型所有为false
machine learning	node.ml	true

分片

• 主分片用于解决数据水平扩展的问题，经过主分片，能够将数据分布到集群内的全部节点之上。
  • 一个主分片是一个运行的Lucene的实例
  • 主分片数是在索引建立时指定，后续不容许修改，除非Reindex
• 副本用于解决数据高可用的问题，它是主分片的拷贝。
  • 副本分片数能够动态调整
  • 增长副本数，在必定程度上能够提升服务的可用性

分片的设定

对于生产环境中分片的设定，须要提早作好容量规划，由于主分片数是在索引建立时预先设定的，后续没法修改。

• 分片数设置太小
  • 致使后续没法增长节点进行水平扩展。
  • 致使分片的数据量太大，数据在从新分配时耗时；
• 分片数设置过大
  • 影响搜索结果的相关性打分，影响统计结果的准确性；
  • 单个节点上过多的分片，会致使资源浪费，同时也会影响性能；

Index 相关 API

#查看索引相关信息
GET kibana_sample_data_ecommerce

#查看索引的文档总数
GET kibana_sample_data_ecommerce/_count

#查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
}

#_cat indices API
#查看indices
GET /_cat/indices/kibana*?v&s=index

#查看状态为绿的索引
GET /_cat/indices?v&health=green

#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

#How much memory is used per index?
GET /_cat/indices?v&h=i,tm&s=tm:desc

Cluster相关API

GET _cat/nodes?v
GET /_nodes/es7_01,es7_02
GET /_cat/nodes?v
GET /_cat/nodes?v&h=id,ip,port,v,m


GET _cluster/health
GET _cluster/health?level=shards
GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights
GET /_cluster/health/kibana_sample_data_flights?level=shards

# cluster state
GET /_cluster/state

#cluster get settings
GET /_cluster/settings
GET /_cluster/settings?include_defaults=true

GET _cat/shards
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason