利用kibana学习 elasticsearch restful api (DSL)

利用kibana学习 elasticsearch restful api (DSL)

一、了解elasticsearch基本概念
Index： database
Type: table
Document： row
Filed： field

二、关键字：
PUT 建立索引，eg：PUT /movie_index 新建movie_index索引
GET 用于检索数据，eg：GET movie_index/movie/1
POST 用来修改数据，eg：POST movie_index/movie/3/_update
DELETE 用来删除数据

三、例子
下面经过电影来演示，一部电影有多个演员。
public class Movie {
String id;
//电影名称
String name;
//豆瓣评分
Double doubanScore;
//演员列表
List<Actor> actorList;
}

public class Actor{
String id;
//演员名称
String name;
}

3.一、添加索引
$ PUT /movie_index

3.二、删除索引
$ DELETE /movie_index

3.三、查看全部的索引库
$ GET _cat/indices?v

3.四、新增文档{新增索引库}
添加三部电影

PUT /movie_index/movie/1
{
"id":1,
"name":"operation red sea",
"doubanScore":8.5,
"actorList":[
{"id":1,"name":"zhang yi"},
{"id":2,"name":"hai qing"},
{"id":3,"name":"zhang han yu"}
]
}

PUT /movie_index/movie/2
{
"id":2,
"name":"operation meigong river",
"doubanScore":8.0,
"actorList":[
{"id":3,"name":"zhang han yu"}
]
}

PUT /movie_index/movie/3
{
"id":3,
"name":"incident red sea",
"doubanScore":5.0,
"actorList":[
{"id":4,"name":"liu de hua"}
]
}

3.四、直接用id查找
$ GET movie_index/movie/1
$ GET movie_index/movie/2
$ GET /movie_index/movie/3

3.五、修改——总体替换
和新增没有区别

PUT /movie_index/movie/3
{
"id":"3",
"name":"incident red sea",
"doubanScore":"5.0",
"actorList":[
{"id":"1","name":"zhang guo li 001"}
]
}

能够从新执行，_version一直递增。

3.六、修改——某个字段
POST movie_index/movie/3/_update
{
"doc": {
"doubanScore":"7.0"
}
}

3.七、删除一个document
DELETE movie_index/movie/3

3.八、搜索type所有数据 {select * from tname}
GET movie_index/movie/_search
{
"took": 1, //耗费时间 毫秒
"timed_out": false, //是否超时
"_shards": {
"total": 5, //发送给所有5个分片
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 2, //命中2条数据
"max_score": 1, //最大评分
"hits": [ //查询结果
{
"_index": "movie_index",
"_type": "movie",
"_id": "2",
"_score": 1,
"_source": {
"id": 2,
"name": "operation meigong river",
"doubanScore": 8,
"actorList": [
{
"id": 3,
"name": "zhang han yu"
}
]
}
},
.....
]
}
}

3.九、按条件查询(所有)
GET movie_index/movie/_search
{
"query":{
"match_all": {}
}
}

3.十、按分词查询
{select * from tname where name like '%red%'}

GET movie_index/movie/_search
{
"query":{
"match": {"name":"red"}
}
}

3.十一、按分词子属性查询
GET movie_index/movie/_search
{
"query":{
"match": {"actorList.name":"zhang"}
}
}

3.十二、fuzzy查询

校订匹配分词，当一个单词都没法准确匹配，es经过一种算法对很是接近的单词也给与必定的评分，可以查询出来，可是消耗更多的性能。
GET movie_index/movie/_search
{
"query":{
"fuzzy": {"name":"rad"}
}
}

经过rad能够匹配到red记录，匹配数据相近的记录。

3.1三、过滤--查询后过滤
{select o.* from (select * from tname where name like '%red%') o where o.actorList.id=3 }

GET movie_index/movie/_search
{
"query":{
"match": {"name":"red"}
},
"post_filter":{
"term": {
"actorList.id": 3
}
}
}

3.1四、过滤--查询前过滤（推荐）
其实准确来讲，ES中的查询操做分为2种：查询（query）和过滤（filter）。查询便是以前提到的query查询，它（查询）默认会计算每一个返回文档的得分，而后根据得分排序。而过滤（filter）只会筛选出符合的数据，并不计算得分，且它能够缓存文档。因此，单从性能考虑，过滤比查询更快。

换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。通常应用时，应先使用过滤操做过滤数据，而后使用查询匹配数据。

eg、查询演员ID包含1和3，且电影名称包含red的记录
{select * from tname where actorList.id in (1,3)}

GET movie_index/movie/_search
{
"query": {
"bool": {
"filter": [
{"term": {"actorList.id": "1"}},
{"term": {"actorList.id": "3"}}
]
}
}
}
注意：过滤（filter）只会筛选出符合的数据，并不计算得分，因此返回结果max_score字段永远为0。

{select * from tname where actorList.id in (1,3) and name like '%red%'}
GET movie_index/movie/_search
{
"query": {
//经过bool进行组合查询
"bool": {
//过滤两个条件
"filter": [
{"term": {"actorList.id": "1"}},
{"term": {"actorList.id": "3"}}
],
"must": {
"match": {"name": "red"}
}
}
}
}

3.1五、排序
每种数据库都有排序：
Mysql，oracle，sqlserver默认的排序规则是升序，仍是降序呢？
Mysql ：升序

GET movie_index/movie/_search
{
"query":{
"match": {"name":"red sea"}
},
"sort": [
{
"doubanScore": {
"order": "desc"
}
}
]
}

3.1六、分页查询
GET movie_index/movie/_search
{
"query": { "match_all": {} },
"from": 0,
"size": 1
}

from: 表示从第几条开始查询，默认从0开始
Size：表示每页显示的数据条数

3.1七、指定查询的字段
GET movie_index/movie/_search
{
"query": { "match_all": {} },
"_source": ["name", "doubanScore"]
}
注意：_source: 查询结果的hits下面的_source

3.1八、高亮
GET movie_index/movie/_search
{
"query":{
"match": {"name":"red sea"}
},
"highlight": {
"fields": {"name":{} }
}
}

修改自定义高亮标签
GET movie_index/movie/_search
{
"query":{
"match": {"name":"red sea"}
},
"highlight": {
"pre_tags": ["<span>"], //前缀标签
"post_tags": ["</span>"], //后缀标签
"fields": {"name":{} }
}
}

3.1九、聚合
至关于 sql 语句中的分组！group by！

取出每一个演员共参演了多少部电影
GET movie_index/movie/_search
{
"aggs": {
"groupby_actor": {
"terms": {
"field": "actorList.name.keyword"
}
}
}
}
注意：groupby_actor聚合别名，至关于变量，上下文引用

每一个演员参演电影的平均分是多少，并按评分排序
GET movie_index/movie/_search
{
"aggs": {
"groupby_actor_id": {
"terms": {
"field": "actorList.name.keyword" ,
"order": {
"avg_score": "desc"
}
},
"aggs": {
"avg_score":{
"avg": {
"field": "doubanScore"
}
}
}
}
}
}

四、关于mapping
以前说type能够理解为table，那每一个字段的数据类型是如何定义的呢

查看看mapping

自定义Type。{自定义表中字段的类型}
之后工做中都是本身定义，不建议不推荐使用 es 中自定的数据类型

GET movie_index/_mapping/movie
实际上每一个type中的字段是什么数据类型，由mapping定义。

可是若是没有设定mapping系统会自动，根据一条数据的格式来推断出应该的数据格式。
true/false → boolean
1020 → long
20.1 → double，float
“2018-02-01” → date
“hello world” → text + keyword
默认只有text会进行分词，keyword是不会分词的字符串。

mapping除了自动定义，还能够手动定义，可是只能对新加的、没有数据的字段进行定义。一旦有了数据就没法再作修改了。

五、中文分词
elasticsearch自己自带的中文分词，就是单纯把中文一个字一个字的分开，根本没有词汇的概念。可是实际应用中，用户都是以词汇为条件，进行查询匹配的，若是可以把文章以词汇为单位切分开，那么与用户的查询条件可以更贴切的匹配上，查询速度也更加快速。

分词器下载网址：https://github.com/medcl/elasticsearch-analysis-ik/releases

https://www.cnblogs.com/linjiqin/p/10904876.html

5.一、安装中文分词
下载好的zip包，解压后放到/home/es/elasticsearch-6.2.2/plugins/目录下

注意：/home/es/elasticsearch-6.2.2/为elasticsearch安装所在目录。

$ cd /home/es/elasticsearch-6.2.2/plugins/
$ unzip elasticsearch-analysis-ik-6.2.2.zip

将压缩包文件删除！不然启动失败！
$ rm -rf elasticsearch-analysis-ik-6.2.2.zip

5.二、重启es，查看插件是否安装
$ sudo fuser -k -n tcp 9200
$ cd /home/es/elasticsearch-6.2.2/bin
$ ./elasticsearch &
$ $ curl http://localhost:9200/_cat/plugins
prMkj8M analysis-ik 6.2.2

5.三、测试使用
5.3.一、使用默认
GET movie_index/_analyze
{
"text": "我是中国人"
}
aaa

5.3.二、使用分词器 {简单的分词方式}
GET movie_index/_analyze
{
"analyzer": "ik_smart",
"text": "我是中国人"
}
bbb

5.3.三、另一个分词器-ik_max_wordGET movie_index/_analyze{ "analyzer": "ik_max_word", "text": "我是中国人"}ccc可以看出不一样的分词器，分词有明显的区别，因此之后定义一个type不能再使用默认的mapping了，要手工创建mapping, 由于要选择分词器。