登录
当前位置： 首页 > 面试题库 >

ElasticSearch post_filter和过滤后的聚合行为不同

长孙知
2023-03-14
问题内容：

我已经花了整整一个星期的时间，没有希望解决它。我关注这篇关于电子商务搜索和多面过滤等的文章（很旧），并且到目前为止效果很好（当在查询中应用过滤器时，搜索结果很好，聚合效果很好。我正在使用ElasticSearch
6.1.1。

但是，由于我想允许我的用户在构面上进行多项选择，因此将过滤器移至post_filter部分。这 仍然运作良好
，可以正确过滤结果，并准确显示整个文档集的汇总计数。

在阅读之后，我意识到我必须对“过滤的”聚合与“特殊的”聚合进行一些疯狂的杂技，以适当地修剪聚合，以显示正确的计数并允许同时使用多个过滤器。我已要求对该问题进行澄清，但尚未答复（这是一个老问题）。

我长期以来一直在努力的问题是在 嵌套字段 上获得一组过滤的聚合，其中所有方面都使用所有过滤器进行过滤。

我的计划是使用常规聚合（未过滤），并使选定的构面聚合保持未过滤状态（以便我可以选择多个条目），但使用当前选定的构面过滤所有其他聚合，这样我只能显示仍可以应用。

但是，如果我在文档上使用THE
SAME过滤器（效果很好），然后将过滤器放入过滤的聚合中，则它们将无法正常工作。计数都是错误的。我知道聚合是在过滤器之前计算的，这就是为什么我在所需聚合上复制过滤器的原因。

这是我的查询：

  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "fields": [
              "search_data.full_text_boosted^7",
              "search_data.full_text^2"
            ],
            "type": "cross_fields",
            "analyzer": "full_text_search_analyzer",
            "query": "some book"
          }
        }
      ]
    }
  }

这里没什么特别的，它很好用并返回相关结果。

这是我的过滤器（在post_filter中）：

"post_filter" : {
    "bool" : {
      "must" : [
      {
        "nested": {
          "path": "string_facets",
            "query": {
              "bool" : {
                "filter" : 
                [
                  { "term" : { "string_facets.facet_name" : "Cover colour" } },
                  { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                ]
              }
            }
          }
        }

      ]
    }
  }

让我强调一下： 这 很好。我看到了正确的结果（在这种情况下，显示了“ 13”个结果，所有结果都与正确的字段相匹配-“封面颜色” =“绿色”）。

这是我的常规（未经过滤的聚合），它返回所有具有正确计数的所有产品的方面：

    "agg_string_facets": {
  "nested": {
    "path": "string_facets"
  },
  "aggregations": {
      "facet_name": {
        "terms": {
          "field": "string_facets.facet_name"
        },
        "aggregations": {
          "facet_value": {
            "terms": {
              "field": "string_facets.facet_value"
            }
          }
        }
      }
  }
}

这也完美地工作 ！我看到与我的查询匹配的所有文档的所有聚合都具有准确的构面计数。

现在，检查一下：我正在为相同的嵌套字段创建一个聚合，但已对其进行过滤，以便获得可以“生存”我的过滤器的聚合和构面：

"agg_all_facets_filtered" : {

           "filter" : {
             "bool" : {
               "must" : [
                {
                   "nested": {
                     "path": "string_facets",
                     "query": {
                       "bool" : {
                         "filter" : [
                           { "term" : { "string_facets.facet_name" : "Cover colour" } },
                           { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                          ]
                       }
                    }
                  }
              }]
            }
        },
        "aggs" : {
         "agg_all_facets_filtered" : {
           "nested": { "path": "string_facets" },
           "aggregations": {
            "facet_name": {
              "terms": { "field": "string_facets.facet_name" },
              "aggregations": {
                    "facet_value": {
                      "terms": { "field": "string_facets.facet_value" }
                    }
                  }
                }
            }  
         }

       }

请注意，我在此聚合中使用的 过滤器与首先过滤我的结果的过滤器相同 （发布后）。

但是由于某种原因，返回的聚合都是错误的，即构面计数。例如，在这里搜索中，我得到13个结果，但是从“ agg_all_facets_filtered ”
返回的聚合计数只有： “ Cover colour” = 4 。

{
  "key": "Cover colour",
  "doc_count": 4,
  "facet_value": {
    "doc_count_error_upper_bound": 0,
    "sum_other_doc_count": 0,
    "buckets": [
        {
          "key": "Green",
          "doc_count": 4
        }
    ]
  }
}

在检查了为什么4以后，我注意到其中3个文档包含刻面“ 封面颜色 ”两次：一次是“绿色”，一次是“某些其他颜色”
…所以看来我的汇总只计算了具有方面名称TWICE-
或与其他文档相同。这就是为什么我认为我的聚合过滤器是错误的。我已经做了大量关于匹配/过滤器的AND与OR的阅读，我尝试使用“过滤器”，“应该”等。没有任何方法可以解决此问题。

很抱歉，这是一个长期的问题，但是：

考虑到我的过滤器本身可以完美工作，我如何编写聚合过滤器，以便返回的构面具有正确的计数？

非常感谢。

更新：例如，以下请求是我的完整查询（请注意post_filter中的过滤器以及过滤后的聚合中的相同过滤器）：

{
  "size" : 0,
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "fields": [
              "search_data.full_text_boosted^7",
              "search_data.full_text^2"
            ],
            "type": "cross_fields",
            "analyzer": "full_text_search_analyzer",
            "query": "bible"
          }
        }
      ]
    }
  },

  "post_filter" : {

    "bool" : {
      "must" : [
      {
        "nested": {
          "path": "string_facets",
            "query": {
              "bool" : {
                "filter" : 
                [
                  { "term" : { "string_facets.facet_name" : "Cover colour" } },
                  { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                ]
              }
            }
          }
        }

      ]
    }

  },

  "aggregations": {

        "agg_string_facets": {
      "nested": {
        "path": "string_facets"
      },
      "aggregations": {
          "facet_name": {
            "terms": {
              "field": "string_facets.facet_name"
            },
            "aggregations": {
              "facet_value": {
                "terms": {
                  "field": "string_facets.facet_value"
                }
              }
            }
          }
      }
    },

    "agg_all_facets_filtered" : {

           "filter" : {
             "bool" : {
               "must" : [
                {
                   "nested": {
                     "path": "string_facets",
                     "query": {
                       "bool" : {
                         "filter" : [
                           { "term" : { "string_facets.facet_name" : "Cover colour" } },
                           { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                          ]
                       }
                    }
                  }
              }]
            }
        },
        "aggs" : {
         "agg_all_facets_filtered" : {
           "nested": { "path": "string_facets" },
           "aggregations": {
            "facet_name": {
              "terms": { "field": "string_facets.facet_name" },
              "aggregations": {
                    "facet_value": {
                      "terms": { "field": "string_facets.facet_value" }
                    }
                  }
                }
            }  
         }

       }


    }

  }
}

返回的结果是正确的（就文档而言），这是汇总（从结果中未经过滤的“ agg_string_facets”-请注意，“绿色”显示了13个文档-正确）：

{
            "key": "Cover colour",
            "doc_count": 483,
            "facet_value": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 111,
              "buckets": [
                {
                  "key": "Black",
                  "doc_count": 87
                },
                {
                  "key": "Brown",
                  "doc_count": 75
                },
                {
                  "key": "Blue",
                  "doc_count": 45
                },
                {
                  "key": "Burgundy",
                  "doc_count": 43
                },
                {
                  "key": "Pink",
                  "doc_count": 30
                },
                {
                  "key": "Teal",
                  "doc_count": 27
                },
                {
                  "key": "Tan",
                  "doc_count": 20
                },
                {
                  "key": "White",
                  "doc_count": 18
                },
                {
                  "key": "Chocolate",
                  "doc_count": 14
                },
                {
                  "key": "Green",
                  "doc_count": 13
                }
              ]
            }
          }

这是聚合（使用相同的过滤器过滤，同时来自“ agg_all_facets_filtered”），对于“绿色”仅显示4：

{
              "key": "Cover colour",
              "doc_count": 4,
              "facet_value": {
                "doc_count_error_upper_bound": 0,
                "sum_other_doc_count": 0,
                "buckets": [
                  {
                    "key": "Green",
                    "doc_count": 4
                  }
                ]
              }
            }

更新2：这是查询返回的一些示例文档：

"hits": {
    "total": 13,
    "max_score": 17.478987,
    "hits": [
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "33107",
        "_score": 17.478987,
        "_source": {
          "type": "product",
          "document_id": 33107,
          "search_data": {
            "full_text": "hcsb compact ultrathin bible mint green leathertouch  holman bible staff leather binding 9781433617751 ",
            "full_text_boosted": "HCSB Compact Ultrathin Bible Mint Green Leathertouch Holman Bible Staff "
          },
          "search_result_data": {
            "name": "HCSB Compact Ultrathin Bible, Mint Green Leathertouch (Leather)",
            "preview_image": "/images/products/medium/0.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=33107"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Compact"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Ultrathin"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "HCSB"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "17240",
        "_score": 17.416323,
        "_source": {
          "type": "product",
          "document_id": 17240,
          "search_data": {
            "full_text": "kjv thinline bible compact  leather binding 9780310439189 ",
            "full_text_boosted": "KJV Thinline Bible Compact "
          },
          "search_result_data": {
            "name": "KJV Thinline Bible, Compact (Leather)",
            "preview_image": "/images/products/medium/17240.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=17240"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Compact"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Thinline"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "KJV"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "17243",
        "_score": 17.416323,
        "_source": {
          "type": "product",
          "document_id": 17243,
          "search_data": {
            "full_text": "kjv busy mom's bible  leather binding 9780310439134 ",
            "full_text_boosted": "KJV Busy Mom'S Bible "
          },
          "search_result_data": {
            "name": "KJV Busy Mom's Bible (Leather)",
            "preview_image": "/images/products/medium/17243.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=17243"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Pocket"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Thinline"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "KJV"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Pink"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "33030",
        "_score": 15.674053,
        "_source": {
          "type": "product",
          "document_id": 33030,
          "search_data": {
            "full_text": "apologetics study bible for students grass green leathertou  mcdowell sean; holman bible s leather binding 9781433617720 ",
            "full_text_boosted": "Apologetics Study Bible For Students Grass Green Leathertou Mcdowell Sean; Holman Bible S"
          },
          "search_result_data": {
            "name": "Apologetics Study Bible For Students, Grass Green Leathertou (Leather)",
            "preview_image": "/images/products/medium/33030.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=33030"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible designation",
              "facet_value": "Study Bible"
            },
            {
              "facet_name": "Bible designation",
              "facet_value": "Students"
            },
            {
              "facet_name": "Bible feature",
              "facet_value": "Indexed"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "33497",
        "_score": 15.674053,
        "_source": {
          "type": "product",
          "document_id": 33497,
          "search_data": {
            "full_text": "hcsb life essentials study bible brown / green  getz gene a.; holman bible st imitation leather 9781586400446 ",
            "full_text_boosted": "HCSB Life Essentials Study Bible Brown  Green Getz Gene A ; Holman Bible St"
          },
          "search_result_data": {
            "name": "HCSB Life Essentials Study Bible Brown / Green (Imitation Leather)",
            "preview_image": "/images/products/medium/33497.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=33497"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Imitation Leather"
            },
            {
              "facet_name": "Bible designation",
              "facet_value": "Study Bible"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "HCSB"
            },
            {
              "facet_name": "Binding",
              "facet_value": "Imitation leather"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Brown"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      }
}

问题答案：

谜团已揭开！感谢您的输入，事实证明我使用的版本（6.1.1）有一个错误。我不知道确切的错误是什么，但是我已经安装了ElasticSearch6.5，为我的数据重新编制了索引，并且对查询或映射没有任何更改，所有这些都可以正常工作！

现在，我不知道是否应该向ES提交错误报告，还是只留下它，因为它是一个较旧的版本，并且他们已经继续前进。



 类似资料：
  • $ lookup之后的聚合过滤器

    问题内容： 如何在$ lookup之后添加过滤器，或者有其他方法可以执行此操作？ 我的数据收集测试是： 我选择ID 100并汇总孩子： 我回来了： 但我只希望与“值：1”匹配的子项 最后，我希望得到以下结果： 问题答案： 这里的问题实际上是关于一些不同的东西，根本不需要。但是，对于仅从“$lookup之后过滤”标题到达此处的任何人，这些都是适合您的技术： MongoDB 3.6-子管道 较早-$

  • 应用聚合后过滤elasticsearch中的术语聚合桶

    以下是数据集的快照： 我想获得员工名单以及employeeStatus和employeeAddr。 所以我在employeeId上使用术语聚合，然后使用employeeStatus和employeeAddr的子聚合来获得这些详细信息。下面的查询正确返回结果。 现在我只想要永久身份的员工。所以我正在应用过滤器聚合。 现在的问题是雇员地址聚合没有为雇员地址返回存储桶，因为记录2在聚合完成之前就被过滤掉

  • java8流-过滤器映射和聚合

    假设我有一张房间清单 每个房间都有一份人员名单。 使用java8 streams，我想迭代房间列表，获取所有人员，在每个节点上执行一些方法（doSomething（）），并获取所有过滤对象的列表。 这是使用java 8的最佳实践吗？

  • Elasticsearch-过滤数据上的聚合

    我有一个返回一组文档（100）的查询。我想对这些应用一个聚合，因为这些是最相关的。当我尝试聚合时，它返回所有结果的聚合，而不是前100个结果的聚合。

  • Bodybuilder js：桶过滤器聚合

    我想根据字段中的关键字出现来制作桶。 我检查了elasticsearch留档，发现过滤器聚合应该很合适：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-filters-aggregation.html#search-aggregations-bucket-filte

  • ElasticSearch聚合：每个聚合排除一个过滤器

    问题内容： 我想过滤出字段“ A”等于“ a”的文档，并且我想同时考虑字段“ A”，当然不包括先前的过滤器。我知道您可以将过滤器“置于查询之外”，以便在不应用该过滤器的情况下获得构面，例如： elasticsearch 单反 这非常好，但是如果我有多个滤镜和构面，每个滤镜和构面应该互相排斥，会发生什么？例： 也就是说，对于方面AI，希望保留除A：a以外的所有过滤器，对于方面B希望保留除B：b以外的

相关阅读

Elasticsearch-如何过滤嵌套的聚合桶？ElasticSearch从数组字段过滤聚合带有过滤器的Spring数据ElastiSearch聚合过滤器聚合内的bucket_script引发错误最少文档数的Elasticsearch过滤器聚合

相关文章

MongoDB聚合查询Tableau数据聚合jQuery Mobile 过滤AngularJS 过滤器PHP 过滤器

相关问答

按桶键值过滤Elasticsearch聚合弹性搜索中的多个过滤器和聚合具有$and、$in和$eq条件的Springmongo聚合过滤器Mongodb查询聚合和Groupby复合过滤器，求和，百分比查询过滤聚合非工作弹性搜索

相关工具

2048游戏聚合版（CocosEditor）乱码过滤器Focus聚焦社区自定义照相机和图片滤镜效果iOS 图片滤镜

相关文档

网聚宝开发指南SQL 合计函数命令行的艺术Java 集合学习指南开发学习笔记合集
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.