将日志从ECS Fargate发送到Elasticsearch的最佳方法

Question

我们在AWS ECS Fargate中部署了多个运行NodeJS服务（节点：11 alpine docker image）的容器。

我们已经有一个正在运行的ElasticSearch实例从非Fargate应用程序收集日志。我想将Fargate容器中的日志传递到这个ElasticSearch实例中，但我很难找出最好的方法。

1）似乎一种方法是从Cloudwatch流式传输日志-

2） 我希望我可以运行一个Logstash docker实例来收集容器中的日志，但我不确定在运行Fargate时这是否可行？

3） 我应该在每个容器上安装类似FileBeat的东西并让它发送日志吗？

非常感谢您的帮助。

Answer 1

1. 似乎一种方法是从Cloudwatch流式传输日志-

如果您正在寻找基于AWS的托管解决方案，这是其中一种方法。您实际上不需要编写Lambda函数，AWS会为您完成。虽然，您承担AWS CloudWatch日志的成本。

AWS推荐的另一种解决方案是使用fluent bit作为侧车容器，从服务中运行的其他容器直接将日志导出到Elasticsearch/OpenSearch。使用此解决方案，您可以通过不使用AWS CloudWatch来节省资金。此解决方案还可以在发生故障时丢失日志方面提供更好的结果。

是的，如果您将该容器与其他容器一起运行，则这是可能的。

您可以根据需要使用Fluent Bit、Filebeat、Fluentd、Functionbeat或Logstash。

注意：如果您正在考虑运行自己的日志导出器容器，如Logstash、Fluent Bit等，请不要启用CloudWatch日志来节省资金，因为您不会使用它。