使用Logstash导入CSV文件时出现问题

Question

我有一个CSV文件，我想在我的弹性搜索中导入它。

我用的是Windows 10，我也有一个Kibana，可以在导入后浏览数据。我使用Logstash来尝试导入。

我的所有服务(Kibana、es和Logstash)都在我的本地主机上运行。

我尝试使用以下Logstash配置文件（我的csv文件在正确的路径中）：

input {
  file {
    path => ["E:\Programmes\Logstash\logstash-2.2.0\data\*.csv"]
    start_position => "beginning"
  }
}

filter {
  csv {
    columns => ["billing_entity","invoice","company","username","reference","line_number","recipient_number","zone","network","date","time","country","duration","cost","currency","call_origin","billing_type"]
    separator => ";"
  }

  #grok {
  # match => { "call" => "%{WORD:billing_entity} %{WORD:invoice} %{WORD:company} %{WORD:username} %{WORD:reference} %{NUMBER:line_number} %{NUMBER:recipient_number} %{WORD:zone} %{WORD:network} %{DATE:date} %{TIME:time} %{WORD:country} %{WORD:duration} %{NUMBER:cost} %{WORD:currency} %{WORD:call_origin} %{WORD:billing_type}" }
  #}
}

output {
  elasticsearch {
    action => "index"
    index => "call_samples"
    #index => "call-%{+YYYY.MM.dd}"
    hosts => "localhost"
    workers => 1
  }
}

如您所见，我试图使用“csv”或“grok”过滤器。

然后，我在详细模式下使用以下配置文件启动logstash:

logstash.bat -f ..\conf\logstash.conf -v > logfile.txt

编辑：每次尝试后，我都会删除生成的sinedb文件以模拟更改。但无论如何，我注意到它们是空的。

但在日志中，我看不到任何相关内容：

消息=

很像是我的文件被忽略了....我还尝试了几个索引等...它永远不会导入数据。

为了检查数据是否存在，我在localhost:9200上进行查询，或者使用索引“call_samples”浏览Kibana搜索栏“Index name or pattern”。

任何人都可以帮我这个请？我卡在这一点上...谢谢

编辑2：好吧，我对这个很愚蠢，我只是想在启动logstash时将日志流重定向到一个文件：

logstash.bat -f ..\conf\logstash.conf -v > logfile.txt

但它可能会中断输入文件的导入。所以我刚刚删除了文件重定向的部分：

logstash.bat -f ..\conf\logstash.conf -v

现在，我的索引已正确创建，但没有导入数据……

Answer 1

这是一个编码问题，即使在冗长模式下，它也从来没有告诉我它失败了什么的……一点线索都没有。

所以我用一个用UTF-8编码的新测试文件进行测试，它运行良好...