如何使用 Dockerfile 和/或 Docker-Compose 配置 Elastic Search Ingest 管道？

Question

我已经为Logstash编写了管道文件，但我目前的客户端反对使用Logstash，并希望直接在Elasticsearch中摄取Filebeat生成的日志。

好吧，如果这真的是他想要的。但是我找不到 Elasticsearch 的免费管道文件。我想使用 Dockerfile 将配置文件复制到映像中，然后使用 Compose 构建堆栈。为客户端创建一个很好的部署模式。

我正在使用堆栈的7.11版本，并且我在Elasticsearch和Kibana的Compose文件和另一个Filebeat的Compose上有了一个良好的开端。我找不到允许将管道放入ES图像的语法。

有人能给我指一下正确的方向吗？

谢谢！

Answer 1

我不知道你如何在启动es时加载管道。您可以在集群启动后通过API来完成，也可以通过filebeat本身来加载它们。

对于我们使用的大多数管道，由于它们在初始设置后不会经常更改，我们决定使用一个非常简单的bash脚本，该脚本将遍历带有管道JSON的文件夹，并通过cURL命令将它们发布到API。

curl -H "Content-Type: application/json" -XPUT http://${ELASTIC_URL}:9200/_ingest/pipeline/some-pipeline [e-mail]

但对于其他应用程序，我们必须创建内置管道的自定义filebeat模块。

为了通过 filebeat 加载管道，您需要创建一个已包含管道 JSON 的自定义模块。

有关详细信息，请参阅模块开发指南。

创建后，您可以运行< code >。/filebeat setup-pipelines-modules my-custom-module 将管道推送到Elastic。