吐血整理：一文看懂ES的R，查询与聚合
对es查询的索引的company，其有以下字段，下面是一个示例数据java
"id": "1", //id "name": "张三",//姓名 "sex": "男",//性别 "age": 49,//年龄 "birthday": "1970-01-01",//生日 "position": "董事长",//职位 "joinTime": "1990-01-01",//入职时间,日期格式 "modified": "1562167817000",//修改时间，毫秒 "created": "1562167817000" //建立时间，毫秒
下面的搜索都会将关系型数据库语句转换成es的搜索api以及参数。程序员
主要是用post方式，用DSL（结构化查询）语句进行搜索。sql
1、查询数据库
一、简单搜索json
【sql】 select * from company 【ES】有两种方式 1、GET http://192.168.197.100:9200/company/_search 2、POST http://192.168.197.100:9200/company/_search { "query":{"match_all":{}} }
二、精确匹配（不对查询文本进行分词）api
【sql】 select * from company where name='张三' 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "term":{"name.keyword":"张三"} } }
term是用于精确匹配的，相似于sql语句中的“=”，由于“name”字段用的是standard默认分词器，其会将“张三”分红“张”和“三”，并不会匹配姓名为“张三”的人，而name.keyword可让其不会进行分词。数组
也能够是terms，这个能够用多个值去匹配一个字段，例如缓存
【sql】 select * from company where name in ('张三','李四') 【ES】 POST http://192.168.197.100:9200/company/_search { "query": { "terms": { "name.keyword": ["张三", "李四"] } } }
三、模糊匹配微信
【sql】 select * from company where name like '%张%' 【ES】 POST http://192.168.197.100:9200/company/_search { "query": { "match": { "name": "张" } } }
上述查询会查出姓名中带有“张”字的文档post
四、分页查询
【sql】 select * from company limit 0,10 【ES】 POST http://192.168.197.100:9200/company/_search { "from":0, "size":10 }
【注意】from+size不能大于10000，也能够进行修改，但不建议这么操做，由于es主要分片模式，其会在每一个分片都会执行同样的查询，而后再进行汇总排序，若是数据太大，会撑爆内存。例如每一个分片都查询出10000条，总共5个分片，最后就会进行50000条数据的排序，最后再取值。
五、范围查询并进行排序
【sql】 select * from company where age>=10 and age<=50 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "range":{ "age":{ "gte":10, "lte":50 } } }, "sort":{ "age":{ "order":"desc" } } }
范围查询是range，有四种参数
(1)gte：大于等于
(2)gt：大于
(3)lte：小于等于
(4)lt：小于
排序是sort，降序是desc，升序是asc，能够有多个排序字段
六、多字段匹配查询
【sql】 select * from company where sex like '%男%' or name like '%男%' 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "multi_match":{ "query":"男", "fields":["name","sex"] } } }
七、bool查询（结构化查询）
结构化查询主要有三块，分别是must，should，must_not，filter
(1)must：里面的条件都是“并”关系，都匹配
(2)should：里面的条件都是“或”关系，有一个条件匹配就行
(3)must_not：里面的条件都是“并”关系，都不能匹配
(4)filter：过滤查询，不像其它查询须要计算_score相关性，它不进行此项计算，故比query查询快
例如：
条件：
年龄在10到50，性别是男
性别必定不能是女
id是1~8的或者职位带有“董”字的
【sql】 select * from company where (age>=10 and age=50 and sex="男") and (sex!="女") and (id in (1,2,3,4,5,6,7,8) or position like '%董%') and departments in ('市场部') 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "bool":{ "must":[ {"term":{"sex":"男"}}, {"range":{ "age":{ "gte":10, "lt":50 } }} ], "must_not":[ {"term":{"sex":"女"}} ], "should":[ {"terms":{"id":[1,2,3,4,5,6,7,8]}}, {"match":{"position":"董"}} ], "filter":[ {"match":{"departments.keyword":"市场部"}} ] } } }
另外，bool查询是能够嵌套的，也就是must、must_not、should、filter里面还能够嵌套一个完整的bool查询。
八、通配符查询
？：只匹配一个字符
*：匹配多个字符
【sql】 select * from company where departments like '%部' 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "wildcard":{ "departments.keyword":"*部" } } }
九、前缀查询
【sql】 select * from company where departments like '市%' 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "match_phrase_prefix":{ "departments.keyword":"市" } } }
十、查询空值（null）
好比我添加一个文档，里面没有sex字段或者添加的时候sex字段为null，这种状况该怎么进行查询呢？
//添加文档 POST http://192.168.197.100:9200/company/_doc //没有sex字段的文档 { "id": "1", "name": "张十", "age": 54, "birthday": "1960-01-01", "position": "程序员", "joinTime": "1980-01-01", "modified": "1562167817000", "created": "1562167817000" } //sex字段值为null的文档 { "id": "1", "name": "张十一", "age": 64, "sex":null, "birthday": "1960-01-01", "position": "程序员", "joinTime": "1980-01-01", "modified": "1562167817000", "created": "1562167817000" }
这两种状况的查询是同样的，都是用exists查询匹配，例如：下面的查询会匹配出上述添加的两个文档。
【sql】 select * from company where sex is null 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "bool":{ "must_not":[ {"exists": {"field":"sex"} } ] } } }
2、过滤（在es5以后被去除了）
过滤跟查询很类似，都是用来查询数据，只不过过滤会维系一个缓存数组，数组里面记录了匹配的文档，好比一个索引下面有两个文档，进行过滤，一个匹配，一个不匹配，那么数组是这样的[1,0]，匹配的文档为1。
在频繁查询的时候，建议用过滤而不是索引。
过滤跟查询的请求体基本类似，只不过多嵌套了一层filtered。
例如：
【sql】 select * from company where departments like '%市%' 【ES】 POST http://192.168.197.100:9200/company/_search { "query":{ "filtered":{ "filter":{ "match":{ "departments.keyword":"市" } } } } }
3、聚合
聚合容许使用者对es文档进行统计分析，相似与关系型数据库中的group by，固然还有不少其余的聚合，例如取最大值、平均值等等。
语法以下：
POST http://192.168.197.100:9200/company/_search { "aggs": { "NAME": { //指定结果的名称 "AGG_TYPE": { //指定具体的聚合方法， TODO: //# 聚合体内制定具体的聚合字段 } } TODO: //该处能够嵌套聚合 } }
聚合分析功能主要有指标聚合、桶聚合、管道聚合和矩阵聚合，经常使用的有指标聚合和桶聚合，本文主要看一下指标聚合和桶聚合怎么使用。
一、指标聚合
(1)对某个字段取最大值max
【sql】 select max(age) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "max_age":{ "max":{"field":"age"} } }, "size":0 //size=0是为了只看聚合结果 } 结果以下：
{ "aggregations": { "max_age": { "value": 64 } } }
(2)对某个字段取最小值min
【sql】 select min(age) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "min_age":{ "min":{"field":"age"} } }, "size":0 }
结果以下：
{ "aggregations": { "min_age": { "value": 1 } } }
(3)对某个字段计算总和sum
【sql】 select sum(age) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sum_age":{ "sum":{"field":"age"} } }, "size":0 }
结果以下：
{ "aggregations": { "sum_age": { "value": 315 } } }
(4)对某个字段的值计算平均值
【sql】 select avg(sex) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "age_avg":{ "avg":{"field":"age"} } }, "size":0 }
结果以下：
{ "aggregations": { "age_avg": { "value": 35 } } }
(5)对某个字段的值进行去重以后再取总数
【sql】 select count(distinct(sex)) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_distinct":{ "cardinality":{"field":"sex"} } }, "size":0 }
结果以下：
{ "aggregations": { "sex_distinct": { "value": 2 } } }
(6)stats聚合，对某个字段一次性返回count，max，min，avg和sum五个指标
【sql】 select count(distinct age),sum(age),avg(age),max(age),min(age) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "age_stats":{ "stats":{"field":"age"} } }, "size":0 }
结果以下：
{ "aggregations": { "age_stats": { "count": 9, "min": 1, "max": 64, "avg": 35, "sum": 315 } } }
(7)extended stats聚合，比stats聚合高级一点，多返回平方和、方差、标准差、平均值加/减两个标准差的区间
【sql】 --这个的sql不会写，数学专业的人公式都忘了，耻辱 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "age_extended_stats":{ "extended_stats":{"field":"age"} } }, "size":0 }
结果以下：
{ "aggregations": { "age_extended_stats": { "count": 9, "min": 1, "max": 64, "avg": 35, "sum": 315, "sum_of_squares": 13857, "variance": 314.6666666666667, "std_deviation": 17.73884626086676, "std_deviation_bounds": { "upper": 70.47769252173353, "lower": -0.4776925217335233 } } } }
(8)percentiles聚合，对某个字段的值进行百分位统计
【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "age_percentiles":{ "percentiles":{"field":"age"} } }, "size":0 }
结果以下：
{
"aggregations": {
"age_percentiles": {
"values": {
"1.0": 1,
"5.0": 1,
"25.0": 26,
"50.0": 29,
"75.0": 50.25,
"95.0": 64,
"99.0": 64
}
}
}
}
(9)value count聚合，统计文档中有某个字段的文档数量
【sql】 select sum(case when sex is null then 0 else 1 end) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_value_count":{ "value_count":{"field":"sex"} } }, "size":0 }
结果以下：总共有8个文档，我在以前添加了两个没有sex字段的文档
【sql】 select sum(case when sex is null then 0 else 1 end) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_value_count":{ "value_count":{"field":"sex"} } }, "size":0 }
二、桶聚合
桶聚和至关于sql中的group by语句。
(1)terms聚合，分组统计
【sql】 select sex,count(1) from company group by sex 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_groupby":{ "terms":{"field":"sex"} } }, "size":0 }
结果以下：
{ "aggregations": { "sex_groupby": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "key": "男", "doc_count": 5 }, { "key": "女", "doc_count": 1 } ] } } }
(2)能够在terms分组下再对其余字段进行其余聚合
【sql】 SELECT name,count(1),AVG(age) from company group by name 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_groupby":{ "terms":{"field":"sex"}, "aggs":{ "avg_age":{ "avg":{"field":"age"} } } } }, "size":0 }
结果以下：
{ "aggregations": { "sex_groupby": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "key": "男", "doc_count": 5, "avg_age": { "value": 33.8 } }, { "key": "女", "doc_count": 1, "avg_age": { "value": 27 } } ] } } }
(3)filter聚合，过滤器聚合，对符合过滤器中条件的文档进行聚合
【sql】 select sum(age) from company where sex = '男' 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_filter":{ "filter":{"term":{"sex":"男"}}, "aggs":{ "sum_age":{ "sum":{"field":"age"} } } } }, "size":0 }
结果以下：
{ "aggregations": { "sex_filter": { "doc_count": 5, "sum_age": { "value": 169 } } } }
(4)filters多过滤器聚合
【sql】 SELECT name,count(1),sum(age) from company group by name 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "sex_filter":{ "filters":{ "filters":[{"term":{"sex":"男"}},{"term":{"sex":"女"}}] }, "aggs":{ "sum_age":{ "sum":{"field":"age"} } } } }, "size":0 }
结果以下：
{ "aggregations": { "sex_filter": { "buckets": [ { "doc_count": 5, "sum_age": { "value": 169 } }, { "doc_count": 1, "sum_age": { "value": 27 } } ] } } }
(6)range范围聚合，用于反映数据的分布状况
【sql】 SELECT sum(case when age<=30 then 1 else 0 end), sum(case when age>30 and age<=50 then 1 else 0 end), sum(case when age>50 then 1 else 0 end) from company 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "age_range":{ "range":{ "field":"age", "ranges":[ {"to":30}, {"from":30,"to":50}, {"from":50} ] } } }, "size":0 }
结果以下：
{ "aggregations": { "age_range": { "buckets": [ { "key": "*-30.0", "to": 30, "doc_count": 5 }, { "key": "30.0-50.0", "from": 30, "to": 50, "doc_count": 2 }, { "key": "50.0-*", "from": 50, "doc_count": 2 } ] } } }
(7)missing聚合，空值聚合，能够统计缺乏某个字段的文档数量
【sql】 SELECT count(1) from company where sex is null 【ES】 POST http://192.168.197.100:9200/company/_search { "aggs":{ "missing_sex":{ "missing":{"field":"sex"} } }, "size":0 }
结果以下：
{ "aggregations": { "missing_sex": { "doc_count": 4 } } }
这个也能够用filter过滤器查询，例如：获得的结果是同样的
POST http://192.168.197.100:9200/company/_search { "aggs":{ "missing_sex":{ "filter":{ "bool":{ "must_not":[ {"exists":{"field":"sex"} } ] } } } }, "size":0 }
ok，上述就是ES经常使用的查询和聚合操做。（看来要深刻研究一下es了）
=======================================================
我是Liusy，一个喜欢健身的程序员。
欢迎关注微信公众号【Liusy01】，一块儿交流Java技术及健身，获取更多干货。