Elasticsearch是一个高度可扩展的、开源的、基于 Lucene 的全文搜索和分析引擎。它容许您快速,近实时地存储,搜索和分析大量数据,并支持多租户。html
Elasticsearch也使用Java开发并使用 Lucene 做为其核心来实现全部索引和搜索的功能,可是它的目的是经过简单的 RESTful API 来隐藏 Lucene 的复杂性,从而让全文搜索变得简单。前端
不过,Elasticsearch 不只仅是 Lucene 和全文搜索,咱们还能这样去描述它:java
并且,全部的这些功能被集成到一个服务里面,你的应用能够经过简单的RESTful API、各类语言的客户端甚至命令行与之交互。node
在决定使用 Elasticsearch 的时候首先要考虑的是版本问题,Elasticsearch 目前有三个经常使用的稳定的主版本:2.x,5.x,6.x(排除 0.x 和 1.x)。git
Elasticsearch 能够在这里查看全部历史版本,博主写这篇博文的时候最新的是 Elasticsearch 6.4.2。你可能会发现没有 3.x 和 4.x,ES 从 2.4.6 直接跳到了 5.0.0。这是为何?github
实际上是为了ELK(ElasticSearch, logstash, kibana)技术栈的版本统一,免的给用户带来混乱。web
咱们知道 elasticsearch,kibana,logstash 都是 Elastic Stack 成员, 并且不少时候都是配合使用,那么为了协同开发,避免形成版本困惑,因此须要统一版本,至少保持在一个主版本号下。sql
在 Elasticsearch 是 2.x (2.x 的最后一版 2.4.6 的发布时间是 July 25, 2017) 的状况下,kibana 已是 4.x(Kibana 4.6.5 的发布时间是 July 25, 2017),那么在 kibana 的下一主版本确定是 5.x 了,因此 Elasticsearch 直接将本身的主版本发布为 5.0.0 了。统一以后,咱们选版本就不会犹豫困惑了,咱们选定 elasticsearch 的版本后再选择相同版本的 kibana 就好了,不用担心版本不兼容的问题。数据库
版本选择能够从如下几个方面考虑:编程
经过以上的版本号了解以后,综合考虑,我起始选择了 elasticsearch 6.4.0版本,其实主要是由于它新,kibana 也选择了 kibana 6.4.0。可是等本地开发完成准备部署的时候,运维通知切换到5.6.0,由于公司其余部门的是5.6.0,方便统一维护,还好 API 变化不大。
Elasticsearch5.0以后的版本至少须要Java 8。可经过以下命令检查Java版本,而后根据须要进行相应的安装/升级。
java -version echo $ JAVA_HOME 复制代码
你能够从 elastic.co/download 下载你须要的版本的Elasticsearch,解压以后便可使用。
若是是集群形式的,可在 ...\elasticsearch-5.6.0\config\elasticsearch.yml
中配置一些你的集群信息:
cluster.name: my-application # 集群名称 path.data: /path/to/data # ES数据存储路径 path.logs: /path/to/logs # ES日志存储路径 node.name: node-1 # 当前节点的名称 network.host: 192.168.0.1 # 配置当前结点绑定的IP地址,可设置为0.0.0.0 http.port: 9200 # 设置对外服务的HTTP端口,默认为9200 复制代码
elasticsearch 准备好以后,在安装目录中执行如下命令能够启动运行:
Linux
./bin/elasticsearch
复制代码
Windows
D:\...\elasticsearch-6.4.0\bin\elasticsearch.bat
复制代码
运行成功以后(启动日志里面会有.. started
标志),浏览器访问http://localhost:9200/?pretty
,你能看到相似如下返回信息(各版本稍微不一样):
{ "name" : "AGXQ3qy", "cluster_name" : "elasticsearch", "cluster_uuid" : "mg9t4Yi2TRud1JNwRY0bPA", "version" : { "number" : "6.4.0", "build_flavor" : "default", "build_type" : "zip", "build_hash" : "595516e", "build_date" : "2018-08-17T23:18:47.308994Z", "build_snapshot" : false, "lucene_version" : "7.4.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" } 复制代码
这说明你的 Elasticsearch 集群已经启动成功而且正常运行,接下来咱们能够开始使用了。
因为 Elasticsearch 的交互方式是 Rest 形式的,这种不是很直观方便,咱们先安装图视化界面,方便咱们操做。可选择的目前主要有 elasticsearch-head 和 kibana。
elasticsearch-head 是一个用于浏览和与 elasticsearch 集群交互的Web前端。elasticsearch-head 是 elasticsearch 集群管理、数据可视化、增删查改、查询语句可视化工具。elasticsearch head 是托管的,能够在 github 下载或 fork。
有两种运行和安装elasticsearch-head的方法:
做为ElasticSearch的插件运行(这是首选方法)
注意: 插件的安装方法,5.0以前为
plugin -install …
,而在 5.0 之后为elasticsearch-plugin -install …
。
做为独立的webapp运行
git clone git://github.com/mobz/elasticsearch-head.git
。成功后的界面以下,能够看到集群的状态信息:
因为 Head 安装起来比较麻烦( 须要安装 node.js ),网上资料也不少,因此我就不详细说了,更多信息可参考:elasticsearch-head
Kibana 和 elasticsearch 同属于 elastic 公司。 Kibana是一个开源分析和可视化平台,旨在与Elasticsearch协同工做。您使用Kibana搜索,查看和与存储在 Elasticsearch 索引中的数据进行交互。您能够轻松地执行高级数据分析,并在各类图表,表格和地图中可视化您的数据。
Kibana 使您能够轻松理解大量数据。其简单的基于浏览器的界面使您可以快速建立和共享动态仪表板,实时显示 Elasticsearch 查询的更改。
设置 Kibana 很是容易。您能够安装 Kibana 并在几分钟内开始探索您的 Elasticsearch 索引 - 无需代码,无需额外的基础架构。
一样可在 kibana 选择须要的对应版本(与 elasticsearch 版本对应),而后下载解压便可使用,具体步骤以下:
elasticsearch.url: "http://localhost:9200"
。若是运行成功,可是没法访问,能够关闭防火墙再试试。
一切准备就绪,咱们正式操做以前,先来了解一些 ES 的核心基本概念,从一开始就理解这些概念将极大地帮助简化学习过程。
Elasticsearch是一个近乎实时(NRT)的搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟(一般是一秒)。一般有集群,节点,分片,副本等概念。
集群(cluster)是一组具备相同cluster.name
的节点集合,他们协同工做,共享数据并提供故障转移和扩展功能,固然一个节点也能够组成一个集群。
集群由惟一名称标识,默认状况下为“elasticsearch”。此名称很重要,由于若是节点设置为按名称加入集群的话,则该节点只能是集群的一部分。
确保不一样的环境中使用不一样的集群名称,不然最终会致使节点加入错误的集群。
【集群健康状态】
集群状态经过 绿,黄,红 来标识
- 绿色 - 一切都很好(集群功能齐全)。
- 黄色 - 全部数据都可用,但还没有分配一些副本(集群功能齐全)。
- 红色 - 某些数据因为某种缘由不可用(集群部分功能)。
注意:当群集为红色时,它将继续提供来自可用分片的搜索请求,但您可能须要尽快修复它,由于存在未分配的分片。
要检查群集运行情况,咱们能够在 Kibana 控制台中运行如下命令GET /_cluster/health
,获得以下信息:
{ "cluster_name": "elasticsearch", "status": "yellow", "timed_out": false, "number_of_nodes": 1, "number_of_data_nodes": 1, "active_primary_shards": 28, "active_shards": 28, "relocating_shards": 0, "initializing_shards": 0, "unassigned_shards": 5, "delayed_unassigned_shards": 0, "number_of_pending_tasks": 0, "number_of_in_flight_fetch": 0, "task_max_waiting_in_queue_millis": 0, "active_shards_percent_as_number": 84.84848484848484 } 复制代码
节点,一个运行的 ES 实例就是一个节点,节点存储数据并参与集群的索引和搜索功能。
就像集群同样,节点由名称标识,默认状况下,该名称是在启动时分配给节点的随机通用惟一标识符(UUID)。若是不须要默认值,能够定义所需的任何节点名称。此名称对于管理目的很是重要,您能够在其中识别网络中哪些服务器与 Elasticsearch 集群中的哪些节点相对应。
能够将节点配置为按集群名称加入特定集群。默认状况下,每一个节点都设置为加入一个名为 cluster 的 elasticsearch 集群,这意味着若是您在网络上启动了许多节点而且假设它们能够相互发现 - 它们将自动造成并加入一个名为 elasticsearch 的集群。
索引是具备某些相似特征的文档集合。例如,您能够拥有店铺数据的索引,商品的一个索引以及订单数据的一个索引。
索引由名称标识(必须所有小写),此名称用于在对其中的文档执行索引,搜索,更新和删除操做时引用索引。
类型,曾经是索引的逻辑类别/分区,容许您在同一索引中存储不一样类型的文档,例如,一种类型用于用户,另外一种类型用于博客帖子。
在 6.0.0 中弃用,之后将再也不可能在索引中建立多个类型,而且将在更高版本中删除类型的整个概念。
文档是能够创建索引的基本信息单元。例如,您能够为单个客户提供文档,为单个产品提供一个文档,为单个订单提供一个文档。该文档以JSON(JavaScript Object Notation)表示,JSON是一种广泛存在的互联网数据交换格式。
在索引/类型中,您能够根据须要存储任意数量的文档。请注意,尽管文档实际上驻留在索引中,但实际上必须将文档编入索引/分配给索引中的类型。
索引可能存储大量可能超过单个节点的硬件限制的数据。例如,占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘,或者可能太慢而没法单独从单个节点提供搜索请求。
为了解决这个问题,Elasticsearch 提供了将索引细分为多个称为分片的功能。建立索引时,只需定义所需的分片数便可。每一个分片自己都是一个功能齐全且独立的“索引”,能够托管在集群中的任何节点上。
设置分片的目的及缘由主要是:
分片的分布方式以及如何将其文档聚合回搜索请求的机制彻底由 Elasticsearch 管理,对用户而言是透明的。
在可能随时发生故障的网络/云环境中,分片很是有用,建议使用故障转移机制,以防分片/节点以某种方式脱机或因任何缘由消失。为此,Elasticsearch 容许您将索引的分片的一个或多个副本制做成所谓的副本分片或简称副本。
副本,是对分片的复制。目的是为了当分片/节点发生故障时提供高可用性,它容许您扩展搜索量/吞吐量,由于能够在全部副本上并行执行搜索。
总而言之,每一个索引能够拆分为多个分片。索引也能够复制为零次(表示没有副本)或更屡次。复制以后,每一个索引将具备主分片(从原始分片复制而来的)和复制分片(主分片的副本)。
能够在建立索引时为每一个索引定义分片和副本的数量。建立索引后,您也能够随时动态更改副本数。您可使用_shrink
和 _splitAPI
更改现有索引的分片数,但这不是一项轻松的任务,因此预先计划正确数量的分片是最佳方法。
默认状况下,Elasticsearch 中的每一个索引都分配了5个主分片和1个副本,这意味着若是集群中至少有两个节点,则索引将包含5个主分片和另外5个副本分片(1个完整副本),总计为每一个索引10个分片。
咱们假设有一个集群由三个节点组成(Node1 , Node2 , Node3)。 它有两个主分片(P0 , P1),每一个主分片有两个副本分片(R0 , R1)。相同分片的副本不会放在同一节点,因此咱们的集群看起来以下图所示 “有三个节点和一个索引的集群”。
相似于关系型数据库:数据库集群,假若有个用户表,我担忧数据量过大,我新建了多个用户表(即 Shard),将用户信息数据切分红多份,而后根据某种规则分到这些用户表中,我又担忧某个表会出现异常形成数据丢失,我又将每一个表分别备份了一次(即 Replica )。
副本是乘法,越多越浪费,但也越保险。分片是除法,分片越多,单分片数据就越少也越分散。
另外,咱们能够画一个对比图来类比传统关系型数据库:
- 关系型数据库 -> Databases(库) -> Tables(表) -> Rows(行) -> Columns(列)。
- Elasticsearch -> Indeces(索引) -> Types(类型) -> Documents(文档) -> Fields(属性)。
Elasticsearch集群能够包含多个索引(indices)(数据库),每个索引能够包含多个类型 (Types)(表),每个类型包含多个文档(documents)(行),而后每一个文档包含多个字段(Fields)(列)。
虽然这么类比,可是毕竟是两个差别化的产品,并且上面也说过在之后的版本中类型 (Types) 可能会被删除,因此通常咱们建立索引都是一个种类对应一个索引。生鲜就建立商品的索引,生活用品就建立生活用品的索引,而不会说建立一个商品的索引,里面既包含生鲜的类型,又包含生活用品的类型。
并且你可能已经注意到索引(index)这个词在Elasticsearch中有着不一样的含义,因此有必要在此作一下区分:
「索引」含义的区分
- 索引(名词) 如上文所述,一个索引(index)就像是传统关系数据库中的数据库,它是相关文档存储的地方,index的复数是 indices 或 indexes。
- 索引(动词) 「索引一个文档」表示把一个文档存储到索引(名词)里,以便它能够被检索或者查询。这很像SQL中的INSERT关键字,差异是,若是文档已经存在,新的文档将覆盖旧的文档。
- 倒排索引 传统数据库为特定列增长一个索引,例如B-Tree索引来加速检索。Elasticsearch和Lucene使用一种叫作倒排索引(inverted index)的数据结构来达到相同目的。
目前与 elasticsearch 交互主要有两种方式:Client API 和 RESTful API。
Client API方式:
Elasticsearch 为如下语言提供了官方客户端 --Groovy、JavaScript、.NET、 PHP、 Perl、 Python 和 Ruby--还有不少社区提供的客户端和插件,全部这些均可以在 Elasticsearch Clients 中找到。后面再开一篇来详细说明。
RESTful API with JSON over HTTP:
全部其余语言可使用 RESTful API 经过端口 9200 和 Elasticsearch 进行通讯,你能够用你最喜好的 web 客户端访问 Elasticsearch 。事实上,正如你所看到的,你甚至可使用 curl 命令来和 Elasticsearch 交互。
一个 Elasticsearch 请求和任何 HTTP 请求同样由若干相同的部件组成:
curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>' 复制代码
被< >
标记的部件:
在应用程序中对象不多只是一个简单的键和值的列表。一般,它们拥有更复杂的数据结构,可能包括日期、地理信息、其余对象或者数组等。
也许有一天你想把这些对象存储在数据库中。使用关系型数据库的行和列存储,这至关因而把一个表现力丰富的对象挤压到一个很是大的电子表格中:你必须将这个对象扁平化来适应表结构,一般一个字段对应一列,并且又不得不在每次查询时从新构造对象。
Elasticsearch 是面向文档的,意味着它存储整个对象或文档。Elasticsearch 不只存储文档,并且 每一个文档的内容能够被检索。在 Elasticsearch 中,你对文档进行索引、检索、排序和过滤而不是对行列数据。这是一种彻底不一样的思考数据的方式,也是 Elasticsearch 能支持复杂全文检索的缘由。
Elasticsearch 使用 JavaScript Object Notation 或者 JSON 做为文档的序列化格式。JSON 序列化被大多数编程语言所支持,而且已经成为 NoSQL 领域的标准格式。 它简单、简洁、易于阅读。几乎全部的语言都有相应的模块能够将任意的数据结构或对象 转化成 JSON 格式,只是细节各不相同。
{ "_index" : "megacorp", "_type" : "employee", "_id" : "1", "_version" : 1, "found" : true, "_source" : { "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "interests": [ "sports", "music" ] } } 复制代码
一切准备就绪以后咱们开始来使用起来,体验 ElasticSearch 的世界。首先,咱们来查看咱们的全部索引信息:
GET _search
{
"query": {
"match_all": {}
}
}
复制代码
获得以下结果信息:
{ "took": 0, "timed_out": false, "_shards": { "total": 1, "successful": 1, "skipped": 0, "failed": 0 }, "hits": { "total": 1, "max_score": 1, "hits": [ { "_index": ".kibana", "_type": "config", "_id": "5.6.0", "_score": 1, "_source": { "buildNum": 15523 } } ] } } 复制代码
能够发现,当前只有一个索引,是.kibana
,固然这不是咱们本身的,这是kibana的。
NBA的新的赛季又开始了,我相信大部分人有精彩比赛的时候仍是会去关注的,咱们建立一个 NBA 球队的索引,开始咱们的学习之路,索引名称需是小写。
PUT nba
{
"settings":{
"number_of_shards": 3,
"number_of_replicas": 1
},
"mappings":{
"nba":{
"properties":{
"name_cn":{
"type":"text"
},
"name_en":{
"type":"text"
},
"gymnasium":{
"type":"text"
},
"topStar":{
"type":"text"
},
"championship":{
"type":"integer"
},
"date":{
"type":"date",
"format":"yyyy-MM-dd HH:mm:ss|| yyy-MM-dd||epoch_millis"
}
}
}
}
}
复制代码
字段说明:
字段名称 | 字段说明 |
---|---|
nba | 索引 |
number_of_shards | 分片数 |
number_of_replicas | 副本数 |
name_cn | 球队中文名 |
name_en | 球队英文名 |
gymnasium | 球馆名称 |
championship | 总冠军次数 |
topStar | 当家球星 |
date | 加入NBA年份 |
若是格式书写正确,咱们会获得以下返回信息,表示建立成功
{ "acknowledged": true, "shards_acknowledged": true, "index": "nba" } 复制代码
索引建立完成以后,咱们往索引中加入球队数据,1,2,3 是咱们指定的 ID,若是不写 ES 会默认ID。
其实咱们能够不建立上面的索引 mapping 直接推送数据,可是这样 ES 会根据数据信息自动为咱们设定字段类型,这会形成索引信息不许确的风险。
PUT /nba/nba/1
{
"name_en":"San Antonio Spurs SAS",
"name_cn":"圣安东尼安马刺",
"gymnasium":"AT&T中心球馆",
"championship": 5,
"topStar":"蒂姆·邓肯",
"date":"1995-04-12"
}
PUT /nba/nba/2
{
"name_en":"Los Angeles Lakers",
"name_cn":"洛杉矶湖人",
"gymnasium":"斯台普斯中心球馆",
"championship": 16,
"topStar":"科比·布莱恩特",
"date":"1947-05-12"
}
PUT /nba/nba/3
{
"name_en":"Golden State Warriors",
"name_cn":"金州勇士队",
"gymnasium":"甲骨文球馆",
"championship": 6,
"topStar":"斯蒂芬·库里",
"date":"1949-06-13"
}
PUT /nba/nba/4
{
"name_en":"Miami Heat",
"name_cn":"迈阿密热火队",
"gymnasium":"美国航空球场",
"championship": 3,
"topStar":"勒布朗·詹姆斯",
"date":"1988-06-13"
}
PUT /nba/nba/5
{
"name_en":"Cleveland Cavaliers",
"name_cn":"克利夫兰骑士队",
"gymnasium":"速贷球馆",
"championship": 1,
"topStar":"勒布朗·詹姆斯",
"date":"1970-06-13"
}
复制代码
索引数据 PUT 成功,会返回以下信息
{ "_index": "nba", "_type": "nba", "_id": "1", "_version": 1, "result": "created", "_shards": { "total": 2, "successful": 1, "failed": 0 }, "created": true } 复制代码
上面新增完数据以后,这时候咱们再执行开始的 MATCH_ALL ,就会发现咱们本身的索引信息也在查询的结果里面了,只是查询的结果是所有信息,其中包括索引、分片和副本的信息,内容比较多。咱们可单独查询本身须要的索引信息。
Elasticsearch 提供丰富且灵活的查询语言叫作 **DSL 查询 (Query DSL) **,它容许你构建更加复杂、强大的搜索。
1.匹配查询 match,match_all
咱们尝试一个最简单的搜索所有员工的请求:
# 查询所有球队的信息
GET /nba/nba/_search
{
"query": {
"match_all": {}
}
}
复制代码
获得的查询结果以下
{ "took": 4, "timed_out": false, "_shards": { "total": 3, "successful": 3, "skipped": 0, "failed": 0 }, "hits": { "total": 3, "max_score": 1, "hits": [ { "_index": "nba", "_type": "nba", "_id": "2", "_score": 1, "_source": { "name_en": "Los Angeles Lakers", "name_cn": "洛杉矶湖人", "gymnasium": "斯台普斯中心球馆", "championship": 16, "topStar": "科比·布莱恩特", "date": "1947-05-12" } }, { "_index": "nba", "_type": "nba", "_id": "1", "_score": 1, "_source": { "name_en": "San Antonio Spurs SAS", "name_cn": "圣安东尼安马刺", "gymnasium": "AT&T中心球馆", "championship": 5, "topStar": "蒂姆·邓肯", "date": "1995-04-12" } }, { "_index": "nba", "_type": "nba", "_id": "3", "_score": 1, "_source": { "name_en": "Golden State Warriors", "name_cn": "金州勇士队", "gymnasium": "甲骨文球馆", "championship": 6, "topStar": "斯蒂芬·库里", "date": "1949-06-13" } ··· } ] } } 复制代码
响应的数据结果分为两部分
{
----------------first part--------------------
"took": 0,
"timed_out": false,
"_shards": {
"total": 3,
"successful": 3,
"skipped": 0,
"failed": 0
},
---------------second part---------------------
"hits": {
"total": 0,
"max_score": null,
"hits": []
}
}
复制代码
第一部分为:分片副本信息,第二部分 hits
包装的为查询的数据集。
注意: 响应内容不只会告诉咱们哪些文档被匹配到,并且这些文档内容完整的被包含在其中—咱们在给用户展现搜 索结果时须要用到的全部信息都有了。
# 查询英文名称为:"Golden State Warriors" 的球队信息
GET /nba/nba/_search
{
"query": {
"match": {
"name_en": "Golden State Warriors"
}
}
}
复制代码
可获得的查询结果为:
{ "took": 6, "timed_out": false, "_shards": { "total": 3, "successful": 3, "skipped": 0, "failed": 0 }, "hits": { "total": 1, "max_score": 1.9646256, "hits": [ { "_index": "nba", "_type": "nba", "_id": "3", "_score": 1.9646256, "_source": { "name_en": "Golden State Warriors", "name_cn": "金州勇士队", "gymnasium": "甲骨文球馆", "championship": 6, "topStar": "斯蒂芬·库里", "date": "1949-06-13" } } ] } } 复制代码
2.过滤查询 Filter
咱们让搜索变的复杂一些。咱们想要找到当家球星是勒布朗·詹姆斯,可是咱们只想获得总冠军多余1次的球队。咱们的语句将作一些改变用来添加过滤器(filter),它容许咱们有效的执行一个结构化搜索:
GET /nba/nba/_search
{
"query": {
"bool": {
"filter": {
"range": {
"championship": {
"gt": 1
}
}
},
"must": {
"match": {
"topStar": "勒布朗·詹姆斯"
}
}
}
}
}
复制代码
咱们发现每次查询,查询结果里面都有一个 _score
字段,通常Elasticsearch根据相关评分排序,相关评分是根据文档与语句的匹配度来得出, _score
值越高说明匹配度越高。
Elasticsearch如何进行全文字段搜索且首先返回相关性性最大的结果。相关性(relevance)概念在Elasticsearch中很是重要,而这也是它与传统关系型数据库中记录只有匹配和不匹配概念最大的不一样。
因为篇幅限制,对于 ElasticSearch 最基本的概念暂时先介绍这么多,要写的内容还不少,通过接近一个月的技术调研和开发,目前对于 ES 也有一个整体的技术了解,可是不少细节仍是须要琢磨的,ES 的功能确实强大且丰富,要想熟练耍起来,仍是须要必定时间的。
后面会继续介绍 ES的相关内容,大概包括 ES 服务的 Java 语言搭建,ES 的 SQL方式查询等等内容。有兴趣的能够先关注本人的博客,因为质量要求大概一星期更新一篇。
另外,我这里添加一个园友ReyCG对本篇文章的思惟导图总结,经过该思惟导图咱们能够更加清晰的理解Elasticsearch的基础信息。
我的公众号:JaJian
欢迎长按下图关注公众号:JaJian!
按期为你奉上分布式,微服务等一线互联网公司相关技术的讲解和分析。