基于字段相似性的弹性搜索滤波器

Question

作为参考，我使用的是Elasticsearch 6.4.0

我有一个Elasticsearch查询，它返回一定的命中视频数，我正在尝试删除文本字段值过于相似的命中。我的查询是：

{
  "size": 10,
  "collapse": {
    "field": "author_id"
  },
  "query": {
    "function_score": {
      "boost_mode": "replace",
      "score_mode": "avg",
      "functions": [
        {
          //my custom query function
        }
      ],
      "query": {
        "bool": {
          "must_not": [
            {
              "term": {
                "author_id": MY_ID
              }
            }
          ]
        }
      }
    }
  },
   "aggs": {
    "book_name_sample": {
      "sampler": {
        "shard_size": 10
      },
      "aggs": {
        "frequent_words": {
          "significant_text": {
            "field": "book_name",
            "filter_duplicate_text": true
          }
        }
      }
    }
  }
}

此查询使用自定义函数分数和筛选器来返回用户可能喜欢的书籍（他们尚未创作的书籍）。对于某些人来说，它返回的名字非常相似的书（即乔治·华盛顿的一生，乔治·华盛顿的美好时光，谁是乔治·华盛顿），我希望热门歌曲有一套更多样化的名字。

我正在使用bucket_selector根据文本相似性聚合命中，查询给我类似的东西：

...,
"aggregations": {
        "book_name_sample": {
            "doc_count": 10,
            "frequent_words": {
                "doc_count": 10,
                "bg_count": 482626,
                "buckets": [
                    {
                        "key": "George",
                        "doc_count": 3,
                        "score": 17.278715785140975,
                        "bg_count": 9718
                    },
                    {
                        "key": "Washington",
                        "doc_count": 3,
                        "score": 15.312204414323656,
                        "bg_count": 10919
                    }
                ]
            }
        }
    }

是否可以在Elasticsearch中根据此聚合结果过滤返回的文档？IE删除book_name_sampledoc_count小于X的命中？我知道我可以在PHP或任何使用命中的语言中执行此操作，但我想将其保存在ES中。我尝试过使用bucket_selector聚合器，如下所示：

"book_name_bucket_filter": {
                    "bucket_selector": {
                        "buckets_path": {
                          "freqWords": "frequent_words"
                        },
                        "script": "params.freqWords < 3"
                    }
                }

但是我收到一个错误：org.elasticsearch.search.aggregations.bucket.sampler.InternalSampler不能转换为org.elasticsearch.search.aggregations.InternalMultiBucketAggregation

此外，如果该过滤器删除了足够多的文档，使得命中计数小于请求的大小，是否可以告诉es去获取下一个最高得分的命中，以便填写< code>hits计数？

Answer 1

为什么不在聚合中使用tophits来获取与bucket匹配的相关文档？您可以指定在热门点击聚合中需要多少相关热门点击。基本上，这将为每个存储桶提供一定数量的文档。