elasticsearch术语聚合不正确

Question

我有一个存储字符串数组的字段。不同的文档包含不同的字符串集。

ex: "ftypes": ["PDF", "TXT", "XML"]

现在，我使用这个聚合查询来分析每个文件类型的使用情况。

{
  "aggs": {
    "list": {
      "terms": {
        "field": "ftypes",
        "min_doc_count": 0,
        "size": 100000
      }
    }
  }
}

result ==>
{
    "took": 11,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 137265,
        "max_score": 0.0,
        "hits": []
    },
    "aggregations": {
        "list": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "PDF",
                    "doc_count": 134475
                },
                {
                    "key": "TXT",
                    "doc_count": 21312
                },
                {
                    "key": "XML",
                    "doc_count": 6597
                },
                {
                    "key": "JPG",
                    "doc_count": 1233
                }
            ]
        }
    }
}

结果与预期一致。但最近我在删除XML文件支持后更新了此字段。因此，文档的non具有文件类型XML。我可以从这个查询中确认这一点。

{
  "query": {
    "terms": {
      "ftypes": ["XML"]
    }
  }
}

result ===>

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 0,
        "max_score": null,
        "hits": []
    }
}

总命中计数为零。奇怪的是，当我再次执行上述聚合查询时，我仍然可以将XML视为一个术语。doc count为零。

{
    "took": 11,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 137265,
        "max_score": 0.0,
        "hits": []
    },
    "aggregations": {
        "list": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "PDF",
                    "doc_count": 134475
                },
                {
                    "key": "TXT",
                    "doc_count": 21312
                },
                {
                    "key": "JPG",
                    "doc_count": 1233
                },
                {
                    "key": "XML",
                    "doc_count": 0
                }
            ]
        }
    }
}

如果这个XML术语在任何文档中都不存在，那么它现在来自哪里？。是否有需要删除的缓存？

Answer 1

我建议你参考这个

用于查询评分的汇总术语统计信息仍将反映已删除的术语和文档。当合并完成时，术语统计信息将突然跳近其真实值，从而改变命中分数。在实践中，这种影响很小，除非已删除的文档与索引的其余部分有不同的统计信息。

所有后续搜索都只是跳过任何已删除的文档。直到段被合并，被删除文档消耗的字节才会被回收。同样，任何仅出现在已删除文档中的术语（幽灵术语）在合并之前都不会被删除。

链接对此过程有足够的理由。

要从输出中避免该术语，您需要设置min_doc_count： 1，它将获取至少包含一个文档的文档