如何将自定义摄取管道与Filebeat模块一起使用

Question

如何将自定义摄取管道与Filebeat模块一起使用？在我的例子中，我使用的是＜code＞apache＜code＞模块。

根据多个来源，这应该可以通过＜code＞output.elasticsearch进行配置。管道/output.elasticsearch.pipelines[pipeline]。资料来源如下：

• https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html#pipelines-option-es
• https://stackoverflow.com/a/58726519/1026263
• https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html#pipelines-option-es

然而，在多次尝试不同的排列后，我从未能够影响Filebeat使用哪个摄取管道；它总是使用模块的股票摄取管道。

这只是众多尝试之一:

filebeat.config:

filebeat.modules:
  - module: apache
    access:
      enabled: true
      var.paths: ["/var/log/apache2/custom_access*"]
    error:
      enabled: true
      var.paths: ["/var/log/apache2/custom_error*"]

filebeat.config.modules:
  reload.enabled: true
  reload.period: 5s

output.elasticsearch:
  hosts: ["${ELASTICSEARCH_URL}"]
  pipeline: "apache_with_optional_x_forwarded_for"

使用debug（-d"*"）运行filebeat会显示以下内容，我认为这表明我的规范已被忽略。（我还可以通过Elasticsearch中生成的文档看出我的自定义管道被绕过了。）

2021-12-16T23:23:47.464Z      DEBUG   [processors]    processing/processors.go:203    Publish event: {
  "@timestamp": "2021-12-16T23:23:47.464Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "7.10.2",
    "pipeline": "filebeat-7.10.2-apache-access-pipeline"
  },

我在Filebeat v6.8和v7.10中都试过这个(在docker.elastic.co/beats/filebeat docker镜像中)。

这类似于这些线程，它们从未得出令人满意的结论：

< li >如何将自定义接收管道与docker自动发现一起使用 < li >如何为Filebeat Nginx模块指定管道？

Answer 1

好吧，根据这个PR到beats存储库，要覆盖模块管道，您需要在输入配置中指定自定义管道，而不是在输出上。

试试这个:

filebeat.modules:
  - module: apache
    access:
      enabled: true
      input.pipeline: your-custom-pipeline
      var.paths: ["/var/log/apache2/custom_access*"]
    error:
      enabled: true
      input.pipeline: your-custom-pipeline
      var.paths: ["/var/log/apache2/custom_error*"]