问题发现
测试人员遇到个问题, ES在查询的时候实际数量只有4条, 做去重计算的时候结果是5, 实际查询如下图:
图中可以看出 doc_count: 4, dc_hostname:5 这就有点奇怪了,doc_count只有4, 去重之后的count怎么会是5
原因分析及解决方案
经过ES官方文档的检查, 问题出现在ES 2.4, ES对cardinality的计算是放在内存中的, 如果内存不够, 结果可能就不准确, 内存的控制是基于参数precision_threshold, 如果count大于该值, 返回结果就不准确, 大约是5%的误差, 如果count小于该值, 返回结果基于是接近准确
-
ES 2.4 参数说明 precision_threshold默认值是 聚合层数(aggregations)*分桶(buckets)数量, 最大值是40000
-
参数调整 调整precision_threshold参数为3000
"aggregations": {
"dc_hostname": {
"cardinality": {
"field": "hostname",
"precision_threshold": 3000
}
}
}
- 查询结果
"buckets": [
{
"key": "AM项目监控",
"doc_count": 4,
"dc_hostname": {
"value": 4
}
}
]