使用Filebeat和Logstash记录的Docker应用
我有一组分散在多个服务器上的dockerized应用程序，并尝试使用ELK设置生产级别的集中式日志记录。我对ELK部件本身还可以，但是我对如何将日志转发到我的日志感到有些困惑。我正在尝试使用Filebeat，因为它具有负载平衡功能。我还想避免将Filebeat（或其他任何东西）打包到我的所有docker中，并使其分开，是否被dockerized。
我该如何进行？
我一直在尝试以下方法。我的Docker在stdout上登录，因此将非dockerized Filebeat配置为从stdin读取，我这样做：
泊坞窗日志-f mycontainer | ./filebeat -e -c filebeat.yml
这似乎在一开始就起作用。第一个日志转发到我的logstash。我猜是缓存的。但是在某些时候，它会卡住并继续发送相同的事件
这仅仅是一个错误还是我走错了方向？您设置了什么解决方案？
问题答案：
Docker允许您指定使用中的logDriver。此答案与Filebeat或负载平衡无关。
在演示中，我使用syslog将日志转发到侦听端口5000的Logstash（ELK）实例。以下命令不断通过syslog将消息发送到Logstash：
docker run -t -d --log-driver=syslog --log-opt syslog-address=tcp://127.0.0.1:5000 ubuntu /bin/bash -c 'while true; do echo "Hello $(date)"; sleep 1; done'
-
问题内容： 我希望从Kafka消费数据并将数据保存到Hadoop和Elasticsearch中。我目前已经看到了两种方法：使用Filebeat从Kafka消费并将其发送到ES，以及使用Kafka- Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。 我不确定要使用哪个发送流数据。尽管我认为如果我想在某个时候从Kafka中获取
-
我正在寻找从Kafka消费，并将数据保存到Hadoop和ElasticSearch中。目前我已经看到了两种实现方法：使用Filebeat从Kafka消费并将其发送到ES，以及使用Kafka-Connect框架。有一个Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模块。 我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从Kafka获取数据并将
-
问题内容： 我有这样的日志： 我想把他们推到。我正在使用filebeat通过以下配置将数据发送到logstash： 现在使用以下配置，我想更改编解码器类型： 但是，我仍然以字符串格式获取日志： “ message”：“ {\” logId \“：\” 57aaf6c96224b \“，\” clientIp \“：\” 127.0.0.1 \“，\” time \“：\” 03:11:29 pm
-
我的ec2实例上运行了几个Docker容器。 我想将这些容器中的日志直接保存到Logstash（弹性云）。 当我试图手动安装Filebeat时，一切正常。我使用 我把它拆开，换了文件。yml配置到 这很好，我可以在Kibana中搜索应用程序“myapp”后找到我的日志。 然而，当我试图从Docker运行Filebeat时，没有成功。 这是我的docker compose中的filebeat部分。y
-
我想在kibana上显示nginx日志。弹性搜索和kibana运行良好。Nginx日志存储在/var/log/Nginx/*中。日志 我安装了filebeat，并用它启用了nginx服务。 filebeat.yml 和/etc/filebeat/modules/nginx。yml文件 运行filebeat set-e命令后，我得到了以下输出 之后，当我运行systemctl restart fil
-
我使用filebeat作为docker，当ıpoint我的nginx登录filebeat时。ymlım在kibana看不到nginx日志这是我的filebeat。yml。我准备好了elastichsearch和kibana容器。当我在日志中启动filebeat容器时，它表示已配置给定的日志路径。但ı无法在kibana上看到任何nginx日志 以及我的nginx站点配置的一个例子