从docker上的应用程序发送日志到elasticsearch

Question

我已在我的应用程序（ASP.NET Core）上使用elasticsearch将nlog配置为nlog.config，如下所示：

<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="Trace"
      internalLogFile="\\{ipmachine}\c\Log\internal-nlog.txt">

  <extensions>
    <add assembly="NLog.Targets.ElasticSearch"/>
  </extensions>
  <targets>
    <target name="ElasticSearch" xsi:type="BufferingWrapper" flushTimeout="5000">
      <target xsi:type="ElasticSearch"/>
    </target>
  </targets>

  <rules>
    <logger name="*" minlevel="Debug" writeTo="ElasticSearch" />
  </rules>
</nlog>

应用程序上的设置是：“ElasticsearchUrl”：http://localhost:9200“

当我通过dotnet-run运行应用程序时，我有一只麋鹿在这样的码头工人那里长大——https://github.com/deviantony/docker-elk

所有日志都会被保存。

但当我将我的应用程序添加到docker映像时，它就不起作用了。

尝试在docker-composs上的相同网络上配置它，我用link做了同样的事情。

...
elasticsearch:
...
    networks:
      - elk
...
myapp:
    networks:
      - elk
    depends_on:
      - elasticsearch

networks:

  elk:
    driver: bridge

甚至在docker上检查elacticsearch的ip，并将应用设置更改为"Elasticsearch chUrl"："http://172.21.0.2:9200"

然后我在docker compose上添加了FileBeat：

  filebeat:
    image: docker.elastic.co/beats/filebeat:6.3.2
    #command: "filebeat -e -c /etc/filebeat/filebeat.yml"
    environment:
      HOSTNAME: "my-server"
      LOGSTASH_HOST: "localhost"
      LOGSTASH_PORT: "5044"
    volumes:
     - "./filebeat/config/filebeat.yml:/etc/filebeat/filebeat.yml:rw"

使用filebeat.yml-

output:
  logstash:
    enabled: true
    hosts:
      - elk:5000
    ssl:
      certificate_authorities:
        - /etc/pki/tls/certs/logstash-beats.crt
    timeout: 15

filebeat:
  prospectors:
    -
      paths:
        - /var/log/syslog
        - /var/log/auth.log
      document_type: syslog
    -
      paths:
        - "/var/log/nginx/*.log"
      document_type: nginx-access

并且日志仍然没有保存在elasticsearch中。它只在我运行应用程序时工作，而不是通过Docker。我在征求意见。

我的端口：

• 5000-logstash
• 5601-木瓜
• 9200-elasticsearch
• 9300-elasticsearch
• 5044-filebeat

Answer 1

应用程序上的设置是：“ElasticsearchUrl”：http://localhost:9200“

这对于容器网络是不正确的，这里的localhost将只与您的容器通信，而不是与主机通信，而不是与其他容器通信。使用用户创建的网络，在撰写文件中使用服务名称elasticsearch，您需要连接到“ElasticsearchUrl”：http://elasticsearch:9200“。

然后我在docker compose上添加了FileBeat

我建议你朝这个方向走。从每个应用程序中删除日志处理，集中检索所有容器日志，并将它们从docker引擎发送到elastic。要做到这一点，只需让您的应用程序登录到stdout，而不是直接登录到elastic。在swarm模式下，我使用撰写文件的以下部分部署filebeat：

  filebeat:
    image: docker.elastic.co/beats/filebeat:${ELASTIC_VER:-6.2.4}
    deploy:
      mode: global
    configs:
    - source: filebeat_yml
      target: /usr/share/filebeat/filebeat.yml
      mode: 0444
    - source: filebeat_prospector_yml
      target: /usr/share/filebeat/prospectors.d/default.yml
      mode: 0444
    volumes:
    - '/var/run:/host/var/run:ro'
    - '/var/lib/docker:/host/var/lib/docker:ro'

我的filebeat.yml文件包含：

filebeat.config:
  prospectors:
    path: ${path.config}/prospectors.d/*.yml
    reload.enabled: false
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

#processors:
#- add_cloud_metadata:

output.elasticsearch:
  hosts: ['elasticsearch:9200']
  username: elastic
  password: changeme

然后将explorer default.yml配置为从每个容器中提取日志：

- type: log
  paths:
  - '/host/var/lib/docker/containers/*/*.log'
  json.message_key: log
  json.keys_under_root: true

请注意，我使用的是configs，但是您可以轻松地切换它，以将这些文件作为卷装载到容器中。