Elasticsearch系列---常见搜索方式与聚合分析

时间 2019-11-24

原文原文链接

概要

本篇主要介绍常见的6种搜索方式、聚合分析语法，基本是上机实战，能够和关系型数据库做对比，若是以前了解关系型数据库，那本篇只须要了解搜索和聚合的语法规则就能够了。java

搜索响应报文

以上篇创建的music索引为例，咱们先看看搜索结果的属性都有哪些mysql

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "music",
        "_type": "children",
        "_id": "1",
        "_score": 1,
        "_source": {
          "name": "gymbo",
          "content": "I hava a friend who loves smile, gymbo is his name",
          "length": "75"
        }
      }
    ]
  }
}

主要的参数说明以下：sql

took：耗费时间，单位是毫秒。
timed_out：是否超时，true有超时，false没超时。
_shards：数据拆成了5个分片，因此对于搜索请求，会到全部的primary shard查询，或是它的某个replica shard。
hits.total：符合查询条件的数量，1个document。
hits.max_score：score是符合条件的document评分的最大值。
hits.hits.score: 这个层级的score表示当前document对search条件的相关度的匹配分数，越相关，就越匹配，分数也高。
hits.hits：包含了匹配搜索条件的document的详细数据。

搜索方式

query string search

搜索全部数据数据库

GET /music/children/_searchjson

带条件搜索api

GET /music/children/_search?q=name:gymbo&sort=length:asc数组

此搜索语法的特色是全部的条件、排序所有用http请求的query string来附带的。这种语法通常是演示或curl命令行简单查询时使用，不适用构建复杂的查询条件，生产已经不多用了。网络

Query DSL

DSL：Domain Specified Language特定领域语言架构

http request body：请求体格式，body用json构建语法，能够构建各类复杂的语法。并发

查询全部数据

GET /music/children/_search
{
  "query":{
    "match_all": {}
  }
}

带条件+排序：

GET /music/children/_search
{
  "query":{
    "match": {
      "name": "gymbo"
    }
  },
  "sort":[{"length":"desc"}]
}

分页查询，size从0开始，下面的命令取第10条到第19条数据

GET /music/children/_search
{
  "query": {
    "match_all":{}
  },
  "from": 10,
  "size": 10
}

指定要查询出来的属性

GET /music/children/_search
{
  "query": {
    "match_all" : {}
  },
  "_source": ["name","content"]
}

query filter

带多个条件过滤：歌曲名称是gymbo，而且时长在65到80秒之间的

GET /music/children/_search
{
  "query":{
    "bool":{
      "must": [
        {"match": {
          "name": "gymbo"
        }}
      ],
      "filter": {"range": {
        "length": {
          "gte": 65,
          "lte": 80
        }
      }}
    }
  }
}

全文检索

GET /music/children/_search
{
  "query":{
    "match": {
      "content":"friend smile"
    }
  }
}

搜索的结果是按相关度分数来排序的，搜索条件中的content field，在新增document时已经创建倒排索引，而后按匹配度最高的来排序，全文索引的原理。

短语检索

GET /music/children/_search
{
  "query":{
    "match_phrase": {
      "content":"friend smile"
    }
  }
}

全文检索match会拆词，大小写不敏感，而后去倒排索引里去匹配，phrase search不分词，大小写敏感，要求搜索串彻底同样才匹配。

高亮检索

GET /music/children/_search
{
  "query":{
    "match_phrase":{
      "content":"friend smile"
    }
  },
  "highlight": {
    "fields": {
      "content":{}
    }
  }
}

匹配的关键词会高亮显示，高亮的内容用标签达到标记效果。

聚合分析

聚合分析相似于关系型数据的分组统计，而且用的语法名称不少都与mysql相似，在这里，能看到不少熟悉的方法。

单field分组统计

需求：统计每种语言下的歌曲数量。

size为0表示不显示符合条件的document记录，只显示统计信息，不写的话默认值是10

GET /music/children/_search { "size": 0, "aggs": { "group_by_lang": { "terms": { "field": "language" } } } }

响应结果：

{ "took": 3, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 1, "max_score": 0, "hits": [] }, "aggregations": { "group_by_lang": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "key": "english", "doc_count": 1 } ] } } }

若是聚合查询时出现以下错误提示：

"root_cause": [ { "type": "illegal_argument_exception", "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [language] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead." } ]

须要将用于分组的字段的fielddata属性设置为true

PUT /music/_mapping/children { "properties": { "language": { "type": "text", "fielddata": true } } }

带查询条件的分组统计

需求：对歌词中出现"friend"的歌曲，计算每一个语种下的歌曲数量

GET /music/children/_search { "size": 0, "query": { "match": { "content": "friend" } }, "aggs": { "all_languages": { "terms": { "field": "language" } } } }

求平均值

需求：计算每一个语种下的歌曲，平均时长是多少

GET /music/children/_search { "size": 0, "aggs": { "group_by_languages": { "terms": { "field": "language" }, "aggs": { "avg_length": { "avg": { "field": "length" } } } } } }

分组后排序

需求：计算每一个语种下的歌曲，平均时长是多少，并按平均时长降序排序

GET /music/children/_search { "size": 0, "aggs": { "group_by_languages": { "terms": { "field": "language", "order": { "avg_length": "desc" } }, "aggs": { "avg_length": { "avg": { "field": "length" } } } } } }

嵌套查询，区间分组+分组统计+平均值

需求：按照指定的时长范围区间进行分组，而后在每组内再按照语种进行分组，最后再计算时长的平均值

GET /music/children/_search { "size": 0, "aggs": { "group_by_price": { "range": { "field": "length", "ranges": [ { "from": 0, "to": 60 }, { "from": 60, "to": 120 }, { "from": 120, "to": 180 } ] }, "aggs": { "group_by_languages": { "terms": { "field": "language" }, "aggs": { "average_length": { "avg": { "field": "length" } } } } } } } }

批量查询

上面的示例请求，都是单个单个发的，Elasticsearch还有一种语法，能够合并多个请求进行批量查询，这样能够减小每一个请求单独的网络开销，最基础的语法示例以下:

GET /_mget { "docs": [ { "_index" : "music", "_type" : "children", "_id" : 1 }, { "_index" : "music", "_type" : "children", "_id" : 2 } ] }

mget下面的docs参数是一个数组，数组里面每一个元素均可以定义一个文档的_index、_type和_id元数据，_index可相同也可不相同，也能够定义_source元数据指定想要的field。

响应的示例：

{ "docs": [ { "_index": "music", "_type": "children", "_id": "1", "_version": 4, "found": true, "_source": { "name": "gymbo", "content": "I hava a friend who loves smile, gymbo is his name", "language": "english", "length": "75", "likes": 0 } }, { "_index": "music", "_type": "children", "_id": "2", "_version": 13, "found": true, "_source": { "name": "wake me, shark me", "content": "don't let me sleep too late, gonna get up brightly early in the morning", "language": "english", "length": "55", "likes": 9 } } ] }

响应一样是一个docs数组，数组长度与请求时保持一致，若是有文档不存在、未搜索到或者别的缘由致使报错，不影响总体的结果，mget的http响应码仍然是200，每一个文档的搜索都是独立的。

若是批量查询的文档是在同一个index下面，能够将_index元数据(_type元数据我也顺便移走)移到请求行中：

GET /music/children/_mget { "docs": [ { "_id" : 1 }, { "_id" : 2 } ] }

或者是直接使用更简单的ids数组：

GET /music/children/_mget { "ids":[1,2] }

查询结果是同样的。

mget的重要性

mget是很是重要的，在进行查询的时候，若是一次性要查询多条数据，那么必定要用batch批量操做的api，尽量减小网络开销次数，可能能够将性能提高数倍，甚至数十倍。

小结

本篇介绍了最经常使用的搜索、批量查询和聚合场景的写法，包含分组统计，平均值，排序，区间分组。这是最基本的套路，基本包含了咱们常见的需求，熟悉mysql的话，掌握起来很是快，熟悉一下Restful的语法，基本就OK了。

专一Java高并发、分布式架构，更多技术干货分享与心得，请关注公众号：Java架构社区