使用 Logstash 使用一个 ElasticSearch 文档中的字段来丰富另一个文档

Question

假设我有一个包含三种数据的ElasticSearch实例——作者、出版商和图书——都在JSON中。作者数据如下所示:

{
  "document-id": "XYZ",
  "document-type": "author",
  "name": "John Doe",
  "country": "Canada"
}

，发布者数据如下所示：

{
  "document-id": "JKL",
  "document-type": "publisher",
  "name": "Random House"
}

，则书籍数据如下所示：

{
  "document-id": "ABC",
  "document-type": "book",
  "authorId": "XYZ",
  "publisherId": "JKL",
  "title": "Logstash for Dummies"
}

到目前为止，每个都进入了自己的索引。

我想创建一个非规范化的数据版本，以便我可以轻松搜索加拿大作家撰写或兰登书屋出版的所有书籍。我需要支持对作者，出版商和书籍数据的更新，以便如果作者搬到新的国家/地区或更改其名称，非规范化的副本也将更新。

我还需要保留非规范化副本中所有对象的所有字段（即，避免两个文档ID字段之间的冲突，以便两个文档ID值都存在，即使必须重命名一个；publisher.name和author.name也是如此）。所有这些都将用于Kibana报告，据我所知，这些报告对嵌套对象不太支持，尽管它似乎确实有一些支持，这可能会消除我的字段名称冲突问题。

实现这一目标的最佳方式是什么？我看到一些讨论将我引向Logstash聚合过滤器或ElasticSearch输出插件，但我不确定该追求什么。Logstash有必要吗，或者这对于接收管道是可能的吗？

两种文档类型是否需要位于同一索引中才能使其正常工作？书籍应该用作者和出版商的数据“丰富”，还是应该将它们全部合并到第四种文档类型中？

我是ElasticSearch的新手，也是Logstash的新手，因此我非常感谢您提供的任何指导。

谢谢！

（交叉发布自 https://discuss.elastic.co/t/enrich-one-document-with-fields-from-another/208651，五天后没有收到回复。

Answer 1

最好的方法确实是尝试将所有数据反规范化为“书本”文档。然而，这并不总是理想的，尤其是如果合并的数据（作者、出版商）会随着时间的推移而变化，在这种情况下，您需要更新所有相关的图书文档（通常使用“按查询更新”API），并且可能需要在作者或出版商每次更改时重建完整索引。

正如我所说，既没有简单的答案，也没有对错。它总是取决于您想要支持的用例。

在你的例子中，你可以通过执行两个查询来摆脱，一个从作者和出版商索引中提取ID，然后使用这些ID来查询书籍索引。

例如，如果您需要检索兰登书屋出版的加拿大作者的所有书籍，则首先发出以下查询：

POST _msearch
{ "index" : "authors" }
{ "query" : { "term": { "country": "Canada" }}}
{ "index" : "publisher" }
{ "query" : { "term": { "name": "Random House" }}}

然后使用检索到的文档的ID，您可以向书籍索引发出查询：

POST books/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "terms": {
            "authorId": ["XYZ1", "XYZ2", "XYZ3"]
          }
        },
        {
          "terms": {
            "publisherId": ["ABC1"]
          }
        }
      ]
    }
  }
}

在您的情况下，我显然不会采用父/子或嵌套的方式，因为要保持一切同步，会有太多的开销。