是否在所有查询匹配文档中添加新的不存在的嵌套字段？

Question

我使用的是ELK 7.12。
我的外部json：

{"req-id":"Test9","process-code":"demo9","field1":1,"field2":"abc"}

Elasticsearch文档：

{"docid":"...", "h":{...},"a":{...}}

预期产出：

{"docid":"...", "h":{...},"a":{...}, "externaldata":{"field1":1,"field2":"abc"}}

Logstash管道：

filter {
    elasticsearch {
        hosts => "http://localhost:9200/"
        user => elastic
        password => elastic
        index => "demo7"
        query => "h.req-id:%{[req-id]} AND h.process-code:%{[process-code]}"
        docinfo_fields => {
          "_id" => "docid"
        }
    }
    if ("_elasticsearch_lookup_failure" not in [tags]) {
        mutate {
            add_field => {"externaldata"=>{}}
            add_field => { "externaldatafield1" => "%{[field1]}" }
            add_field => { "externaldatafield2" => "%{[field2]}" }
        }
        mutate {
            rename => {
                "externaldatafield1" => "[externaldata][field1]"
                "externaldatafield2" => "[externaldata][field2]"
            }
        }
    }
}
output {
    elasticsearch {
        hosts => "http://localhost:9200/"
        user => elastic
        password => elastic
        index => "demo7"
        action => "update"
        doc_as_upsert => true
        document_id => "%{docid}"
    }
}

错误：

"error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse field [externaldata] of type [text] in document with id '901'. Preview of field's value: '{field1=1, field2=abcd}'"

我尝试了其他SO文章中的一些组合，以在事件中添加嵌套字段，但管道未能执行。请给我提供正确的语法。我的学习参考是这个。

编辑1：
根据leandrojmp的注释，GET /demo7/_mapping的结果是：

"externaldata" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }

在研究映射概念之后，我删除了索引并成功地重新执行了管道

现在的问题是，仅更新两个查询匹配文档中的一个。如何使用externaldata字段更新所有查询匹配文档？如果我应该使用任何循环/跳转代码，请提供参考？

编辑2:
我最初关于附加字段和映射错误的问题由leandrojmp解决；因此接受了他们的回答。但多文档更新问题仍然存在。到目前为止，我理解应该使用“http”或“exec”插件而不是“elasticsearch”。

Answer 1

此错误意味着您的索引中已有一个文档，其中externaldata字段的类型为text，现在您正试图为对象的同一字段编制索引。

例如，如果在一个文档中有externaldata作为文本：

{ 
    "externaldata": "some string text value" 
}

在其他文档中，您有externaldataas和object：

{ 
    "externaldata": {
        "field1": "1",
        "field2": "2"
    }
}

这两个文档中的一个将被拒绝，这取决于您的映射。如果您没有明确应用映射，elasticsearch将使用它首先接收的类型为字段创建映射，在您的情况下，该类型似乎是文本类型。

要解决此问题，您需要删除索引，并为字段externaldata应用映射，或为该字段为对象的文档编制索引。

映射如下所示：

{
    "externaldata": {
        "properties: {
            "field1": { "type": "keyword" },
            "field2": { "type": "keyword" }
        }
    }   
} 

如果在您的数据中，您有此字段不是对象的文档，您将需要更改其名称，您不能将相同的字段作为字符串和对象。

另外，你的变异过滤器是错误的，你只需要这样的东西：

mutate {
    add_field => { "[externaldata][field1]" => "%{[field1]}" }
    add_field => { "[externaldata][field2]" => "%{[field2]}" }
}