登录
当前位置： 首页 > 面试题库 >

Elastic Search中嵌套字段的术语聚合

徐友樵
2023-03-14
问题内容：

我在elasticsearch（YML中的定义）中具有字段的下一个映射：

              my_analyzer:
                  type: custom
                  tokenizer:  keyword
                  filter: lowercase

               products_filter:
                    type: "nested"
                    properties:
                        filter_name: {"type" : "string", analyzer: "my_analyzer"}
                        filter_value: {"type" : "string" , analyzer: "my_analyzer"}

每个文档都有很多过滤器，看起来像：

"products_filter": [
{
"filter_name": "Rahmengröße",
"filter_value": "33,5 cm"
}
,
{
"filter_name": "color",
"filter_value": "gelb"
}
,
{
"filter_name": "Rahmengröße",
"filter_value": "39,5 cm"
}
,
{
"filter_name": "Rahmengröße",
"filter_value": "45,5 cm"
}]

我试图获取唯一过滤器名称的列表以及每个过滤器的唯一过滤器值的列表。

我的意思是，我想获得结构是怎样的：Rahmengröße：
39.5厘米
45.5厘米
33.5厘米
颜色：
盖尔布

为了得到它，我尝试了几种聚合的变体，例如：

{
  "aggs": {
    "bla": {
      "terms": {
        "field": "products_filter.filter_name"
      },
      "aggs": {
        "bla2": {
          "terms": {
            "field": "products_filter.filter_value"
          }
        }
      }
    }
  }
}

这个请求是错误的。

它将为我返回唯一过滤器名称的列表，并且每个列表将包含所有filter_values的列表。

"bla": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 103,
"buckets": [
{
"key": "color",
"doc_count": 9,
"bla2": {
"doc_count_error_upper_bound": 4,
"sum_other_doc_count": 366,
"buckets": [
{
"key": "100",
"doc_count": 5
}
,
{
"key": "cm",
"doc_count": 5
}
,
{
"key": "unisex",
"doc_count": 5
}
,
{
"key": "11",
"doc_count": 4
}
,
{
"key": "160",
"doc_count": 4
}
,
{
"key": "22",
"doc_count": 4
}
,
{
"key": "a",
"doc_count": 4
}
,
{
"key": "alu",
"doc_count": 4
}
,
{
"key": "aluminium",
"doc_count": 4
}
,
{
"key": "aus",
"doc_count": 4
}
]
}
}
,

另外，我尝试使用反向嵌套聚合，但这对我没有帮助。

所以我认为我的尝试有逻辑上的错误吗？


问题答案：

如我所说。您的问题是您的文本被分析，elasticsearch总是在令牌级别聚合。因此，为了解决该问题，必须将字段值索引为单个标记。有两种选择：

  • 不分析它们
  • 使用关键字分析器+小写（不区分大小写的aggs）为它们编制索引

因此，将使用小写过滤器并删除重音符号（ö => o以及ß => ss您的字段的其他字段，以创建自定义关键字分析器）来进行设置，以便将它们用于聚合（raw和keyword）：

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer_keyword": {
          "type": "custom",
          "tokenizer": "keyword",
          "filter": [
            "asciifolding",
            "lowercase"
          ]
        }
      }
    }
  },
  "mappings": {
    "data": {
      "properties": {
        "products_filter": {
          "type": "nested",
          "properties": {
            "filter_name": {
              "type": "string",
              "analyzer": "standard",
              "fields": {
                "raw": {
                  "type": "string",
                  "index": "not_analyzed"
                },
                "keyword": {
                  "type": "string",
                  "analyzer": "my_analyzer_keyword"
                }
              }
            },
            "filter_value": {
              "type": "string",
              "analyzer": "standard",
              "fields": {
                "raw": {
                  "type": "string",
                  "index": "not_analyzed"
                },
                "keyword": {
                  "type": "string",
                  "analyzer": "my_analyzer_keyword"
                }
              }
            }
          }
        }
      }
    }
  }
}

测试文件，您给了我们：

PUT /test/data/1
{
  "products_filter": [
    {
      "filter_name": "Rahmengröße",
      "filter_value": "33,5 cm"
    },
    {
      "filter_name": "color",
      "filter_value": "gelb"
    },
    {
      "filter_name": "Rahmengröße",
      "filter_value": "39,5 cm"
    },
    {
      "filter_name": "Rahmengröße",
      "filter_value": "45,5 cm"
    }
  ]
}

这将是查询以使用raw字段进行汇总：

GET /test/_search
{
  "size": 0,
  "aggs": {
    "Nesting": {
      "nested": {
        "path": "products_filter"
      },
      "aggs": {
        "raw_names": {
          "terms": {
            "field": "products_filter.filter_name.raw",
            "size": 0
          },
          "aggs": {
            "raw_values": {
              "terms": {
                "field": "products_filter.filter_value.raw",
                "size": 0
              }
            }
          }
        }
      }
    }
  }
}

它确实带来了预期的结果（带有过滤器名称的存储桶和带有其值的子存储桶）：

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "Nesting": {
      "doc_count": 4,
      "raw_names": {
        "doc_count_error_upper_bound": 0,
        "sum_other_doc_count": 0,
        "buckets": [
          {
            "key": "Rahmengröße",
            "doc_count": 3,
            "raw_values": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 0,
              "buckets": [
                {
                  "key": "33,5 cm",
                  "doc_count": 1
                },
                {
                  "key": "39,5 cm",
                  "doc_count": 1
                },
                {
                  "key": "45,5 cm",
                  "doc_count": 1
                }
              ]
            }
          },
          {
            "key": "color",
            "doc_count": 1,
            "raw_values": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 0,
              "buckets": [
                {
                  "key": "gelb",
                  "doc_count": 1
                }
              ]
            }
          }
        ]
      }
    }
  }
}

另外，您可以将field与关键字分析器（以及一些规范化）结合使用，以获得更通用且不区分大小写的结果：

GET /test/_search
{
  "size": 0,
  "aggs": {
    "Nesting": {
      "nested": {
        "path": "products_filter"
      },
      "aggs": {
        "keyword_names": {
          "terms": {
            "field": "products_filter.filter_name.keyword",
            "size": 0
          },
          "aggs": {
            "keyword_values": {
              "terms": {
                "field": "products_filter.filter_value.keyword",
                "size": 0
              }
            }
          }
        }
      }
    }
  }
}

结果就是：

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "Nesting": {
      "doc_count": 4,
      "keyword_names": {
        "doc_count_error_upper_bound": 0,
        "sum_other_doc_count": 0,
        "buckets": [
          {
            "key": "rahmengrosse",
            "doc_count": 3,
            "keyword_values": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 0,
              "buckets": [
                {
                  "key": "33,5 cm",
                  "doc_count": 1
                },
                {
                  "key": "39,5 cm",
                  "doc_count": 1
                },
                {
                  "key": "45,5 cm",
                  "doc_count": 1
                }
              ]
            }
          },
          {
            "key": "color",
            "doc_count": 1,
            "keyword_values": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 0,
              "buckets": [
                {
                  "key": "gelb",
                  "doc_count": 1
                }
              ]
            }
          }
        ]
      }
    }
  }
}


 类似资料：
  • ElasticSearch：嵌套字段和聚合

    我看到一些关于嵌套字段和聚合的帖子，但它们似乎都没有回答我的问题。所以，如果这是一个重复的问题，请原谅，如果有任何帮助，我们将不胜感激。 我们建立了一个讲座索引，讲座具有以下特点： 讲座可以是面对面（现场）或预先录制（在线） 每个讲座可以有多个章节 这些章节中的每一个都可以由不同的讲师讲解（例如：量子物理的第一章可以由五个不同的讲师讲解，其中三个可能是现场直播，另外两个可能在线） 在线讲座每个讲师

  • ElasticSearch-按嵌套字段上的嵌套聚合排序聚合

    在这里，我得到了错误： “无效的术语聚合顺序路径[price>price>price.max]。术语桶只能在子聚合器路径上排序，该路径由路径中的零个或多个单桶聚合和路径末尾的最终单桶或度量聚合组成。子路径[price]指向非单桶聚合” 如果我按持续时间聚合排序，查询可以正常工作，如 那么，有什么方法可以通过嵌套字段上的嵌套聚合来排序聚合吗？

  • ElasticSearch术语按整个字段聚合

    问题内容： 如何编写一个将整个字段值而不是单个标记考虑在内的ElasticSearch术语聚合查询？比如，我想通过城市名聚集，但下面的回报，，并作为单独的水桶，不和的水桶预期。 问题答案： 您应该在映射中解决此问题。添加一个not_analyzed字段。如果您还需要分析的版本，则可以创建多字段。 现在在city.raw上创建聚合

  • 嵌套在elasticsearch中的嵌套聚合

    如何聚合一个值在嵌套在Elasticsearch嵌套位置？我对一个嵌套对象没有问题，但在嵌套对象内的嵌套我感到困惑... 样本数据： 欲望结果： 在索引映射中，我将cat_a和条目字段的类型设置为嵌套，当我从工具字段查询聚合时，在cat_a的根（级别1）中没有问题，并且可以工作，但是在聚合中在rx_a（这是在第2级）我不能检索结果，它或空或显示错误，因为我的错误查询。 查询级别1 agg： 如何处

  • 向ElasticSearch术语聚合添加其他字段

    问题内容： 索引文件如下： 我想要的是按平台计数和输出统计信息。为了进行计数，我可以将术语聚合作为字段进行计数： 这样，我就可以像预期那样将统计数据作为多个存储桶接收到。 现在，我还能以某种方式添加到这些存储桶中吗（以及用于统计的漂亮输出）？我附带的最好的看起来像： 实际上，它可以工作，并且在每个存储桶中返回非常复杂的结构： 当然，可以从此结构中提取平台的名称和网址（例如），但是是否有更干净，更简

  • 向ElasticSearch术语聚合添加其他字段

    索引文档如下： 我想要的是按平台计数和输出统计信息。对于计数，我可以使用带有的术语聚合作为字段进行计数： 通过这种方式，我以多个bucket的形式接收统计数据，看起来就像预期的那样{key:8，doc\u count:162511}。 现在，我可以以某种方式将和（用于漂亮的统计输出）添加到这些桶中吗？我带来的最好的看起来像： 实际上，它可以工作，并在每个桶中返回非常复杂的结构： 当然，平台的名称和

相关阅读

ElasticSearch-带有数组字段的子术语聚合的问题Elasticsearch：嵌套对象中的remove / update字段Elasticsearch组和聚合嵌套值Elasticsearch术语聚合和查询深度嵌套类型的Elasticsearch聚合

相关文章

PyTorch术语VBA术语Java11 嵌套类的使用Python循环嵌套Selenium基本术语

相关问答

如何在elasticsearch的嵌套聚合中桶空和非空字段？Elasticsearch排序嵌套字段Elasticsearch排序术语聚合热门子聚合中字段后的存储桶Elasticsearch 5组合bool术语和嵌套术语筛选器Elasticsearch嵌套动态聚合

相关工具

UITable嵌套UITable汉字炼金术纵向Table里嵌套横向TableElasticsearch语音数字键盘

相关文档

区块链技术 智能合约 Solidity 编程语言中文文档Mastering Elasticsearch 中文版Elasticsearch-PHP 中文文档Spring Data Elasticsearch 中文版中文技术文档的写作规范
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.