记一次ES查询数据忽然变为空的问题

基本环境

• elasticsearch版本：6.3.1
• 客户端环境：kibana 6.3.四、Java8应用程序模块。
  其中kibana主要用于数据查询诊断和查阅日志，Java8为主要的客户端，数据插入和查询都是由Java实现的。

案例介绍

使用elasticsearch存储订单的主要信息，document内的field，基本上是long或keyword，建立索引的order.json文件以下：

{
  "doc": {
    "properties": {
      "id": {
        "type": "keyword",
        "index": true
      },
      "status": {
        "type": "byte",
        "index": true
      },
      "createTime": {
        "type": "long",
        "index": true
      },
      "uid": {
        "type": "long",
        "index": true
      },
      "payment": {
        "type": "keyword",
        "index": true
      },
      "commentStatus": {
        "type": "byte",
        "index": true
      },
      "refundStatus": {
        "type": "byte",
        "index": true
      }
    }
  }
}

某天发现有个查询功能（单独使用payment字段查询）没有数据出来，最近未修改此部分代码。对比研发环境，研发环境是正常的，一样的代码在测试环境下无数据返回。

问题定位

• 程序中使用该字段用的是termQuery，以下：

QueryBuilders.termQuery("payment", req.getFilter().getOrder().getPayment())

在kibana上用命令诊断查询数据，一样没有结果返回，查询命令以下：

GET /order/doc/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "payment": "Alipay"
        }}
      ]
    }
  }
}

• 查询mapping信息，看是否为keyword：

GET /order/_mapping/doc

响应返回（只展现payment字段）：

{
  "order": {
    "mappings": {
      "doc": {
        "properties": {
          "payment": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}

问题缘由

按照mapping返回结果来看，字段payment原定义的类型是keyword，如今变成text了，这个是payment字段使用termQuery查询致使没有数据的缘由。

text与keyword的区别

keyword对保存的内容不分词，也不改变大小写，原样存储，默承认索引。
text对内容进行分词，而且所有小写存储，同时会增长一个text.keyword字段，为keyword类型，超过256字符后不索引。

因为payment字段变成text了，原有的程序使用term查询，用的"Alipay"，而text存储的是"alipay"，因此查不到数据了。

尝试排错方法

• payment的值改为小写

GET /order/doc/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "payment": "alipay"
        }}
      ]
    }
  }
}

• 或将term查询改为match查询

GET /order/doc/_search
{
  "query": {
    "bool": {
      "must": [
        {
            "match": {
              "payment": "alipay"
            }
        }
      ]
    }
  }
}

查询有数据输出，而且符合预期，尝试方法有效。

问题追溯

明明order.json的对payment字段定义的类型是keyword，怎么变成text了？

因为出现此问题的环境是测试环境，有重删索引数据，而后再所有导入的操做（有点不规范，但仅限于测试环境，生产环境不会这么作），从新导入索引document数据的功能，es建立索引自动mapping时，payment字段的string内容，会变成text。

解决办法：

1.删除索引

DELETE /order

2.按照order.json重建索引

PUT /order
{
    "mappings": {
        "doc": {
            "properties": {
              "id": {
                "type": "keyword",
                "index": true
              },
              "status": {
                "type": "byte",
                "index": true
              },
              "createTime": {
                "type": "long",
                "index": true
              },
              "uid": {
                "type": "long",
                "index": true
              },
              "payment": {
                "type": "keyword",
                "index": true
              },
              "commentStatus": {
                "type": "byte",
                "index": true
              },
              "refundStatus": {
                "type": "byte",
                "index": true
              }
            }
        }
    }
}

3.触发程序灌数据（也能够用bulk）

小结

问题虽小，但必定要追溯源头，好比这次测试环境的不规范操做。后期若是有删除索引的操做，应该先手动创建索引后，再灌数据，而不是直接让其自动mapping创建索引，自动mapping创建的字段类型，可能不是咱们指望的。

专一Java高并发、分布式架构，更多技术干货分享与心得，请关注公众号：Java架构社区