Elasticsearch 2.4 cardinality(distinct count) aggregation 返回结果不许确

问题发现

测试人员遇到个问题, ES在查询的时候实际数量只有4条, 作去重计算的时候结果是5, 实际查询以下图:

图中能够看出 doc_count: 4, dc_hostname:5 这就有点奇怪了,doc_count只有4, 去重以后的count怎么会是5

缘由分析及解决方案

通过ES官方文档的检查, 问题出如今ES 2.4, ES对cardinality的计算是放在内存中的, 若是内存不够, 结果可能就不许确, 内存的控制是基于参数precision_threshold, 若是count大于该值, 返回结果就不许确, 大约是5%的偏差, 若是count小于该值, 返回结果基因而接近准确

• ES 2.4 参数说明 precision_threshold默认值是 聚合层数(aggregations)*分桶(buckets)数量, 最大值是40000

• 参数调整 调整precision_threshold参数为3000

"aggregations": {
	"dc_hostname": {
		"cardinality": {
			"field": "hostname",
			"precision_threshold": 3000
		}
	}
}

• 查询结果

"buckets": [
  {
    "key": "AM项目监控",
    "doc_count": 4,
    "dc_hostname": {
      "value": 4
    }
  }
]

cardinality-aggrestion官方文档