嵌套内嵌件上的弹性搜索聚合

Question

我在Elasticsearch中获得了大量数据。我的douments有一个名为“records”的嵌套字段，它包含一个包含多个字段的对象列表。

我希望能够从记录列表中查询特定的对象，因此我在查询中使用了inner_hits字段，但是这没有帮助，因为聚合使用大小0，所以没有返回结果。

我没有成功地使一个聚集只对inner_hits有效，因为无论查询是什么，聚集都返回记录中所有对象的结果。

这是我正在使用的查询：（每个文档都有first_timestamp和last_timestamp字段，记录列表中的每个对象都有一个时间戳字段）

curl -XPOST 'localhost:9200/_msearch?pretty' -H 'Content-Type: application/json' -d'    
{
    "index":[
        "my_index"
    ],
    "search_type":"count",
    "ignore_unavailable":true
}
{
    "size":0,
    "query":{
        "filtered":{
             "query":{
                 "nested":{
                     "path":"records",
                     "query":{
                         "term":{
                             "records.data.field1":"value1"
                         }
                     },
                     "inner_hits":{}
                 }
             },
             "filter":{
                 "bool":{
                     "must":[
                     {
                         "range":{
                             "first_timestamp":{
                                 "gte":1504548296273,
                                 "lte":1504549196273,
                                 "format":"epoch_millis"
                             }
                         }
                     }
                     ],
                 }
             }
         }
     },
     "aggs":{
         "nested_2":{
             "nested":{
                 "path":"records"
             },
             "aggs":{
                 "2":{
                     "date_histogram":{
                          "field":"records.timestamp",
                          "interval":"1s",
                          "min_doc_count":1,
                          "extended_bounds":{
                              "min":1504548296273,
                              "max":1504549196273
                          }
                     }
                }
           }
      }
   }
}'

Answer 1

你也可以像这样检查代码

PUT records
{
  "mappings": {
    "properties": {
      "records": {
        "type": "nested"
      }
    }
  }
}

POST records/_doc
{
  "records": [
    {
      "data": "test1",
      "value": 1
    },
    {
      "data": "test2",
      "value": 2
    }
  ]
}

GET records/_search
{
  "size": 0,
  "aggs": {
    "all_nested_count": {
      "nested": {
        "path": "records"
      },
      "aggs": {
        "bool_aggs": {
          "filter": {
            "bool": {
              "must": [
                {
                  "term": {
                    "records.data": "test2"
                  }    
                }
              ]
            }
          },
          "aggs": {
            "filtered_aggs": {
              "sum": {
                "field": "records.value"
              }
            }
          }
        }
      }
    }
  }
}

楼盘： https://www.elastic.co/guide/en/elasticsearch/reference/current/inner-hits.html

Answer 2

弹性搜索不支持Inner_hits聚合。其背后的原因是，inner_hits是一种非常昂贵的操作，并且对inner_hits应用聚合就像操作复杂性呈指数级增长一样。这是该问题的github链接。

如果您想要对inner_hits进行聚合，您可以使用以下方法:

1. 进行灵活的查询，其中仅从弹性获得所需的命中并对其进行聚合。重复多次以获得所有命中并同时聚合。这种方法可能会导致您进行多次搜索查询，这是不可取的。
2. 您可以通过编写智能聚合解析器来使应用程序层处理聚合逻辑，并根据来自 elasticsearch 的响应运行这些解析器。这种方法稍微好一点，但是根据不断变化的需求维护解析器会产生开销。

我个人建议您在弹性搜索中更改数据映射样式，以便能够在其上运行聚合。

Answer 3

您的查询相当复杂。简而言之，以下是您请求的查询：

{
  "size": 0,
  "aggregations": {
    "nested_A": {
      "nested": {
        "path": "records"
      },
      "aggregations": {
        "bool_aggregation_A": {
          "filter": {
            "bool": {
              "must": [
                {
                  "term": {
                    "records.data.field1": "value1"
                  }    
                }
              ]
            }
          },
          "aggregations": {
            "reverse_aggregation": {
              "reverse_nested": {},
              "aggregations": {
                "bool_aggregation_B": {
                  "filter": {
                    "bool": {
                      "must": [
                        {
                          "range": {
                            "first_timestamp": {
                              "gte": 1504548296273,
                              "lte": 1504549196273,
                              "format": "epoch_millis"
                            }
                          }
                        }
                      ]
                    }
                  },
                  "aggregations": {
                    "nested_B": {
                      "nested": {
                        "path": "records"
                      },
                      "aggregations": {
                        "my_histogram": {
                          "date_histogram": {
                            "field": "records.timestamp",
                            "interval": "1s",
                            "min_doc_count": 1,
                            "extended_bounds": {
                              "min": 1504548296273,
                              "max": 1504549196273
                            }
                          }
                        }
                      }
                    }
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

现在，让我用聚合的名称来解释每一步:

• 尺寸：0-