使用ElasticSearch输出创建与请求路径值同名的索引

Question

这是我的logstash.conf:

input {
    http {
        host => "127.0.0.1"
        port => 31311 
    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]      
  }
  stdout {
    codec => "rubydebug"
  }
}

作为测试，我在PowerShell中运行了以下命令：

C:\users\me\downloads\curl-7.64.1-win64-mingw\bin>.\curl.exe-xput'http://127.0.0.1:31311/twitter'

在我的logstash终端中显示了以下输出：

{
    "@timestamp" => 2019-04-09T08:32:09.250Z,
       "message" => "",
      "@version" => "1",
       "headers" => {
           "request_path" => "/twitter",
           "http_version" => "HTTP/1.1",
        "http_user_agent" => "curl/7.64.1",
         "request_method" => "PUT",
            "http_accept" => "*/*",
         "content_length" => "0",
              "http_host" => "127.0.0.1:31311"
    },
          "host" => "127.0.0.1"
}

当我跑的时候

C:\users\me\downloads\curl-7.64.1-win64-mingw\bin>.\curl.exe-xget“http://127.0.0.1:9200/_cat/indexes”

在PowerShell里面，我看到

黄色开放日志stash-2019.04.091THSTDPFQYSWL1WPNEIWPQ 5 1 0 0 401B 401B

根据ElasticSearch约定，创建了一个名为logstash-2019.04.09的索引，以响应我的put请求。

我的问题是：如果我希望索引具有与.\curl.exe-xput'http://127.0.0.1:31311/{index_name}'命令中传递的{index_name}参数相同的值，那么我应该如何在logstash.conf文件中配置ElasticSearch输出？

Edit：为了澄清，我希望每次发出put请求创建新索引时都动态读取{index_name}。这可能吗？

Answer 1

可以使用索引输出配置选项。
此配置可以使用%{foo}语法进行动态配置。由于希望[headers][request_path]的值位于索引配置中，因此可以执行如下操作：

output {
  elasticsearch {
    hosts => ["http://localhost:9200"] 
    index => "%{[headers][request_path]}"     
  }
}

要使其工作，值[headers][request_path]字段不能包含以下任何字符:[,\“,*,\\,<,,,>,/,？]。我建议您使用变异筛选器的gsub配置选项。因此，要删除所有正斜杠，您应该使用如下内容：

filter{
  mutate{
      gsub => ["[headers][request_path]","/",""]
    }
}

如果请求路径有几个正斜杠，可以用ElasticSearch接受的字符替换它们。
所以，最终的logstash.conf文件应该如下所示：

input {
    http {
        host => "127.0.0.1"
        port => 31311 
    }
}

filter{
  mutate{
      gsub => ["[headers][request_path]","/",""]
    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[headers][request_path]}"
  }
  stdout {
    codec => "rubydebug"
  }
}