摄取管道中的“我的文档”字段是什么类型？

Question

我有码头工人-

我正在使用Elasticsearch摄取管道来处理我的日志（在Filebeat发送它们之后）。

在我的日志中，有一个消息字段和有效负载字段。这是有趣的部分：

负载有时是对象，有时是字符串。

现在，ES显然不允许映射中出现这种类型的冲突，因此每天首先进入我的索引的任何类型都会进入，而另一种类型将无效并抛出错误。我想以以下方式处理这个问题：

< li >检查有效载荷字段的类型 < li >如果是字符串，将其嵌套到payload.text字段中

我不知道如何进行“嵌套”，也没有找到任何方法来类型检查有效负载字段。

这是否根本不受支持？我必须为此添加Logstash吗？或者它可以在Filebeat方面解决吗？

编辑：提到的摄取管道

Answer 1

在您的摄取节点中，您将创建GROK过滤器，并根据找到的模式决定将值放在哪里。

记住，如果你想强制字段类型，你可以使用这个结构:

%{FAVORITE_DOG:pet:int}
%{FAVORITE_DOG_text:pet:string}

例如，如果您想解析一个字段并决定根据类型放入两个不同的字段。这里我定义了两种不同的模式：

P1(For integers): "My value is=%{NUMBER:my_variable_int:int}"
P2(For text):"My value is=%{WORD:my_variable_text:string}

ps。:%{NUMBER}和%{WORD}是常见的正则表达式规则

ps2.：顺序很重要，试着把整数放在第一位，因为字符串总是会被识别......

示例:

log1: "My value is=10"
log2: "My value is=SOME_TEXT"


{
  "description" : "...",
  "processors": [
    {
      "grok": {
        "field": "message",
        "patterns": ["My value is=%{NUMBER:my_variable_int:int}","My value is=%{WORD:my_variable_text:string}"]
      }
    }
  ]
}

来源:https://www . elastic . co/guide/en/elastic search/reference/master/grok-processor . html