使用默认目标时日志存储日期解析失败

Question

我无法使用logstash date插件解析日期字段，我的配置如下：

if "test" in [tags] {
    csv {
        separator => ","
        columns => [ "value", "received_date" ]
        convert => {
             "value" => "float"
        }
    }
    mutate {
        gsub => [ "received_date" , ".\d*$" , ""]
    }
    date {
        match => [ "received_date", "yyyy-MM-dd HH:mm:ss" ]
    }
}

我得到的错误：

[2018-06-19T11:51:20583][WARN][logstash.outputs.elasticsearch]无法将事件索引到elasticsearch。{：地位=

如果我添加一个目标：

    date {
        match => [ "received_date", "yyyy-MM-dd HH:mm:ss" ]
        target => "received_date"
    }

然后它就可以工作了，但是timestamp字段采用logstash收到输入的日期，这不是我想要的。

为什么目标会影响日期解析？

Answer 1

由于某种原因，时间戳字段被映射为elasticsearch中的日期。

您可以删除时间戳字段，

date {
  locale => "en"
  remove_field => ["timestamp"]
}