计算数百万条相邻记录并在Elasticsearch中进行汇总

Question

我想计算数以百万计的相邻记录，并最终在ElasticSearch中总结它们。我怎么能这么做？

ElasticSearch中的文档（其中六个）数据：

10
20
-30
10
30
100

计算：

  10  to  20 is  10
  20  to -30 is -50
 -30  to  10 is  40
  10  to  30 is  20
  30  to  100 is 70

10+(-50)+40+20+70=90

如何使用Rest-ResthighLevelClient API执行查询来实现此功能？

Answer 1

最有可能的是，在Elasticsearch中做到这一点的唯一合理方法是将已经计算好的增量反规范化并放入Elasticsearch中。在这种情况下，您只需要一个简单的求和聚合。

这是因为Elasticsearch中的数据是“平坦的”，所以它不知道您的文档是相邻的。当您需要知道的所有信息在索引时都已经在文档中时，它会非常出色：在这种情况下，预先构建了特殊索引，聚合速度非常快。

它就像一个'tuin，一个普拉切特小说中的地球的平面版本：一些基本的物理，比如来自RDBMS的join，不起作用，但魔法是可能的。

PUT time_diff
{
  "mappings": {
    "doc": {
      "properties": {
        "eventTime": {
          "type": "date"
        },
        "val": {
          "type": "integer"
        }
      }
    }
  }
}

POST /time_diff/doc/1
{
  "eventTime": "2018-01-01",
  "val": 10
}

POST /time_diff/doc/2
{
  "eventTime": "2018-01-02",
  "val": 20
}

POST /time_diff/doc/_search
{
  "size": 0,
  "aggs": {
    "my_date_histo": {
      "date_histogram": {
        "field": "eventTime",
        "interval": "day"
      },
      "aggs": {
        "the_sum": {
          "sum": {
            "field": "val"
          }
        },
        "my_diff": {
          "serial_diff": {
            "buckets_path": "the_sum"
          }
        }
      }
    },
    "my_sum": {
      "sum_bucket": {
        "buckets_path": "my_date_histo>my_diff"
      }
    }
  }
}

{
  ...
  "aggregations": {
    "my_date_histo": {
      "buckets": [
        {
          "key_as_string": "2018-01-01T00:00:00.000Z",
          "key": 1514764800000,
          "doc_count": 1,
          "my_delta": {
            "value": 10
          }
        },
        ...
      ]
    },
    "my_sum": {
      "value": 90
    }
  }
}

null