ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解

时间  2020-11-30
标签 html 数据库 数组 缓存 数据结构 app less elasticsearch ide 函数 栏目 日志分析 繁體版
原文   原文链接

前言

在上一篇中介绍了ElasticSearch集群和kinaba的安装教程，本篇文章就来说解下 ElasticSearch的DSL语句使用。html

ElasticSearch DSL 介绍

Elasticsearch提供了基于JSON的完整查询DSL（特定于域的语言）来定义查询。将查询DSL视为查询的AST（抽象语法树），它由两种子句组成：数据库

  • 叶子查询子句: 叶查询子句中寻找一个特定的值在某一特定领域，如 match，term或 range查询。这些查询能够本身使用。
  • 复合查询子句 复合查询子句包装其余叶查询或复合查询，并用于以逻辑方式组合多个查询（例如 bool或dis_max查询），或更改其行为（例如 constant_score查询）。 查询子句的行为会有所不一样，具体取决于它们是在 查询上下文中仍是在过滤器上下文中使用。

咱们在使用ElasticSearch的时候，避免不了使用DSL语句去查询，就像使用关系型数据库的时候要学会SQL语法同样。若是咱们学习好了DSL语法的使用，那么在往后使用和使用Java Client调用时候也会变得很是简单。数组

ElasticSearch DSL 语句使用

这里咱们先来介绍下DSL 语句简单的使用，从最经常使用的增删改查开始！缓存

1、新增数据

ElasticSearch能够直接新增数据，只要你指定了index(索引库名称)和type(类型)便可。在新增的时候你能够本身指定主键ID，也能够不指定，由 ElasticSearch自身生成。数据结构

新增数据命令示例:app

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

kinaba示例图: 在这里插入图片描述 注: POST test1/_doc/1 这是指定主键ID为1，若是POST test1/_doc 的话，那么即是es自身生成ES语句。less

这里咱们还能够经过 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看该index的状态，也就是 setting(设置选项) 和mapping(数据结构)。 在这里插入图片描述elasticsearch

2、建立索引库

在上述示例中，咱们经过直接经过建立数据从而建立了索引库，可是没有建立索引库而经过ES自身生成的这种并不友好，由于它会使用默认的配置，字段结构都是text(text的数据会分词，在存储的时候也会额外的占用空间)，分片和索引副本采用默认值，默认是5和1，ES的分片数在建立以后就不能修改，除非reindex(下面会讲到)，因此这里咱们仍是指定数据模板进行建立。ide

这里先简单介绍一下ES的数据结构，如下的数据结构为ES的6.x版本。函数

  • 核心数据类型 text 和 keyword

  • 数值数据类型 long，integer，short，byte，double，float，half_float，scaled_float

  • 日期数据类型 date

  • 布尔数据类型 boolean

  • 二进制数据类型 binary

  • 范围数据类型 integer_range，float_range，long_range，double_range，date_range

  • 复杂数据类型编辑

  • 对象数据类型 object 用于单个JSON对象

  • 嵌套数据类型 nested 用于JSON对象数组

  • 地理数据类型编辑

  • 地理位置数据类型 geo_point 纬度/经度积分

  • 地理形状数据类型 geo_shape 用于多边形等复杂形状

  • 专业数据类型编辑

  • IP数据类型 ip 用于IPv4和IPv6地址

  • 完成数据类型 completion 提供自动完成建议

  • 令牌计数数据类型 token_count 计算字符串中令牌的数量 mapper-murmur3 murmur3 在索引时计算值的哈希并将其存储在索引中 mapper-annotated-text annotated-text 索引包含特殊标记的文本（一般用于标识命名实体）

  • 渗滤器类型 接受来自query-dsl的查询

  • join 数据类型 为同一索引内的文档定义父/子关系

  • 别名数据类型 为现有字段定义别名。

  • 多字段编辑 为不一样的目的以不一样的方式对同一字段创建索引一般颇有用。例如，一个string字段能够映射为text用于全文搜索的字段，也能够映射为keyword用于排序或聚合的字段。或者，您可使用standard分析仪， english分析仪和 french分析仪索引文本字段。 这是多领域的目的。大多数数据类型经过fields参数支持多字段。

上面介绍的字段介绍虽然比较复杂，可是咱们经常使用的几个类型也就是这几种 text、keyword、byte、short、integer、long、float、double、boolean、date，其中text和keyword都是string类型，选择区分很简单，须要进行分词用text，不须要而且进行排序或聚合的能够用keyword。

关于ES的数据结构就到这里了，咱们来进行索引库的建立吧！

新增索引库的命令示例:

PUT test1
{
    "settings" : {
        "number_of_shards" : 10,
        "number_of_replicas" : 1,
         "refresh_interval" : "1s"
    },
    "mappings" : {
        "_doc" : {
            "properties" : {
                "uid" : { "type" : "long" },
                "phone" : { "type" : "long" },
                "message" : { "type" : "keyword" },
                "msgcode" : { "type" : "long" },
                 "sendtime" : {  
                  "type" : "date",
                  "format" : "yyyy-MM-dd HH:mm:ss" 
  }
                
            }
        }
    }
}

示例图: 在这里插入图片描述 在这里插入图片描述 注:

  • number_of_shards: 是设置的分片数，设置以后没法更改！
  • refresh_interval: 是设置es缓存的刷新时间，若是写入较为频繁，可是查询对实时性要求不那么高的话，能够设置高一些来提高性能。能够更改
  • number_of_replicas : 是设置该索引库的副本数，建议设置为1以上。

其中这里还有几个重要参数也顺便说一下:

  • store: true/false 表示该字段是否存储，默认存储。
  • doc_values: true/false 表示该字段是否参与聚合和排序。
  • index: true/false 表示该字段是否创建索引，默认创建。

关于这几个字段的取值能够参考一下的示例图: 在这里插入图片描述

3、修改数据

其实ES的新增和修改能够看作是同样，存在则修改，不存在则新增，不过这里仍是简单的介绍下吧。 修改数据的方式主要有两种，一种是经过主键ID进行修改，这种比较简单，就是和新增同样便可。 另外一种则是经过条件进行修改，至关于SQL更新语句的 where条件。

根据主键修改的命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

根据条件修改的命令示例:

POST test1/_update_by_query
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  } ,
  "script": {
    "source": "ctx._source['message'] = 'xuwujing'"
  }
}

原有的数据： 在这里插入图片描述

修改后的数据: 在这里插入图片描述 注：这里的根据条件进行修改用到的脚本语言，ES除了使用DSl语句以后，使用一些官方定义的脚本语言和SQL语句也能进行操做，脚本语言和SQL语句的操做留到之后在来说下。

4、删除数据、字段和索引库

ES根据主键删除数据的命令示例是DELETE 索引库/id，简单实用，可是必定要要加上ID，否则就是删除索引库了！

根据主键删除数据命令示例：

DELETE test1/1

根据条件删除数据的命令示例：

POST test/_delete_by_query
{
  "query": {
      "term": {
        "phone": "12345678909"
      }
  }
}

固然ES还能够根据条件只删除某一个字段的数据，好比删除字段msgcode的数据。

删除字段数据的命令示例:

POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}

示例图:

在这里插入图片描述

查询语句

查询全部

match_all能够查询集群全部索引库的信息，包括一些隐藏索性库的信息。 命令示例:

GET _search
{   
  "query": {
    "match_all": {}
  }
}

示例图: 在这里插入图片描述

查询索引库全部的数据，命令格式为GET 索引库名称/索引库类型/_search，也能够不须要索引库类型。

命令示例:

GET  test1/_doc/_search

若是根据ID查询某一条数据的话，也比较简单，只须要将上述的_search换成主键ID便可。 命令示例:

GET  test1/_doc/2

等值（term）查询

term主要用于精确匹配哪些值，好比数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)

好比根据手机号进行查询。 命令示例:

GET  test1/_doc/_search
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  }
}

固然，若是想在一个字段匹配多个值的话，可使用terms，至关于SQL的in语法。

命令示例:

GET  test1/_doc/_search
{
  "query": {
    "terms": {
       "uid": [ 
        1234, 
        12345, 
        123456
      ] 
    }
  }
}

示例图: 在这里插入图片描述 注：上述中是没有123456这条数据，这样只是为了作下简单的测试而已。

范围（range ）查询

range能够理解为SQL中的><符号，其中gt是大于，lt是小于，gte是大于等于，lte是小于等于。

命令示例:

GET  test1/_doc/_search
{
  "query": {
   "range": { 
      "uid": { 
        "gt": 1234,
        "lte": 12345
      } 
    } 
  }
}

在这里插入图片描述

存在(exists)查询

exists能够理解为SQL中的exists函数，就是判断是否存在该字段。

这里咱们新增一条没有msgcode的字段，而后用exists去查询。

POST test1/_doc/3
{
    "uid" : "123456",
    "phone" : "12345678909",
    "message" : "qq",
    "sendtime" : "2019-03-14 01:57:04"
}

存在查询命令示例:

GET  test1/_doc/_search
{
  "query": {
   "exists": { 
       "field":"msgcode" 
    } 
  }
}

示例图:

在这里插入图片描述

组合(bool)查询

bool 能够用来合并多个过滤条件查询结果的布尔逻辑，它包含这以下几个操做符:

  • must : 多个查询条件的彻底匹配,至关于 and。
  • must_not ::多个查询条件的相反匹配，至关于 not。
  • should : 至少有一个查询条件匹配, 至关于 or。

查询的命令示例:

GET /test1/_search
{
  "query": {
    "bool": {
      "must": {
        "term": {
          "phone": "12345678909"
        }
      },
      "must_not": {
        "term": {
          "uid": 12345
        }
      },
      "should": [
        {
          "term": {
            "uid": 1234
          }
        },
        {
          "term": {
            "uid": 123456
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  }
}

示例图: 在这里插入图片描述

模糊(wildcard)查询

wildcard查询至关于SQL语句中的like语法，只不过它查询的数据须要加上*符号。

模糊查询命令示例:

GET /test1/_search
{
  "query": {
   "wildcard": { 
       "message":"*wu*" 
    } 
  }
}

在这里插入图片描述

正则(regexp)查询

regexp能够支持正则查询，好比查询短信内容中的验证码之类的。

下面的这个示例就是查询以xu开头，后面是0-9数字的内容的数据。

正则查询命令示例:

GET /test1/_search
{
  "query": {
   "regexp": { 
       "message":"xu[0-9]" 
    } 
  }
}

示例图:

在这里插入图片描述

查询语句的示例到这里就差很少就结束了，这里在推荐一下kinaba查询的几个小技巧，如图所示： 在这里插入图片描述

其它

参考： https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

ElasticSearch我的已经使用一年多了，在学习的过程当中也积攒了一些相关资料其，只不过今年特别忙，没有太多时间将其整理成博客进行分享了。说来惭愧，今年写博客的数量有些少了，下半年本身从一个周更博主变成了月更博主了，不事后面如果时间充足的话也会多些一些的，再忙每月至少也会写一篇 ヾ(◍°∇°◍)ﾉﾞ

ElasticSearch实战系列: ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程

音乐推荐

<iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=86 src="//music.163.com/outchain/player?type=2&id=1366594775&auto=0&height=66"></iframe>

原创不易，若是感受不错，但愿给个推荐！您的支持是我写做的最大动力！ 版权声明: 做者：虚无境 博客园出处：http://www.cnblogs.com/xuwujing CSDN出处：http://blog.csdn.net/qazwsxpcm　　　　 我的博客出处：http://www.panchengming.com

原文出处：https://www.cnblogs.com/xuwujing/p/11567053.html

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程