我在Mac OSX上运行filebeat以及sebp/elk docker镜像。当我在具有完全相同配置的Windows机器上尝试相同的操作时,日志从Filebeat无缝地传送到Logstash。在windows上,当我在启动elk docker容器之前运行filebeat时,它会不断重试以建立与Logstash的连接。在Mac上,filebeat正在启动任何连接。它甚至不会尝试连接到在端口5044上运行的backoff/Logstash。
我肯定我错过了一些非常小的东西,但无法得到它。我花了将近2天的时间在这上面,但没有运气。
您是否尝试执行filbeat的调试模式以检查:
从filebeat目录执行它
苏多/filebeat-e-c filebeat。yml-d“*”
查看此处了解更多详细信息
问题内容: 当我启动logstash时,旧日志不会导入ES。 ES中仅记录新的请求日志。 现在我已经在文档中看到了。 即使设置了,也不会插入旧日志。 这仅在我在Linux上运行logstash时发生。 如果我使用相同的配置运行它,则会导入旧日志。 我什至不需要在Windows上进行设置。 有什么想法吗? 问题答案: 当您读取Logstash的输入日志时,Logstash会保留有关此文件上读取位置的
问题内容: 我有这样的日志: 我想把他们推到。我正在使用filebeat通过以下配置将数据发送到logstash: 现在使用以下配置,我想更改编解码器类型: 但是,我仍然以字符串格式获取日志: “ message”:“ {\” logId \“:\” 57aaf6c96224b \“,\” clientIp \“:\” 127.0.0.1 \“,\” time \“:\” 03:11:29 pm
在我通过Windows 10上的“Windows子系统Linux 2”运行Ubuntu18.04的本地机器上,我运行的是Elastic 7.3、Kibana 7.3和Elastic 7.3 docker容器。 设置成功,Filebeat似乎可以正确监控容器。但是,Kibana没有显示任何日志。 安装程序 要设置Elastic和Kibana,我使用以下命令 在这两个命令之后,容器Kibana日志显示
问题内容: 我希望从Kafka消费数据并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法:使用Filebeat从Kafka消费并将其发送到ES,以及使用Kafka- Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。 我不确定要使用哪个发送流数据。尽管我认为如果我想在某个时候从Kafka中获取
我正在寻找从Kafka消费,并将数据保存到Hadoop和ElasticSearch中。目前我已经看到了两种实现方法:使用Filebeat从Kafka消费并将其发送到ES,以及使用Kafka-Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。 我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从Kafka获取数据并将
我的ec2实例上运行了几个Docker容器。 我想将这些容器中的日志直接保存到Logstash(弹性云)。 当我试图手动安装Filebeat时,一切正常。我使用 我把它拆开,换了文件。yml配置到 这很好,我可以在Kibana中搜索应用程序“myapp”后找到我的日志。 然而,当我试图从Docker运行Filebeat时,没有成功。 这是我的docker compose中的filebeat部分。y