Airflow 2/Docker：在docker-compose.yml中添加自定义网络失败

Question

我已经使用docker compose安装了airflow 2.0.2，如下所述https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html.用过的docker组成。这里可以找到yml：https://airflow.apache.org/docs/apache-airflow/2.0.2/docker-compose.yaml

我想执行一个DAG，它通过API下载一些数据，并将其发送到运行在另一个docker容器（在另一个docker-compose管道中定义）中的Kafka服务器。到目前为止（没有使用airflow），我为kafka/zookeper容器使用了自定义docker网络；这就是为什么我还想将airflow docker容器添加到这个网络中。

因此，我将以下内容添加到气流的泊坞窗组成.yml中：

networks:
  app-tier:
    driver: bridge
    name: app-tier

此外，我将网络参数包含在 x-气流-公共，如下所示：

version: '3'
x-airflow-common:
  &airflow-common
  build: .
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.0.2}
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'false'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
  user: "${AIRFLOW_UID:-50000}:${AIRFLOW_GID:-50000}"
  depends_on:
    redis:
      condition: service_healthy
    postgres:
      condition: service_healthy
  networks:
    - app-tier

但是，在启动docker compose管道时，除Postgres和Redis（worker、webserver、flower、scheduler）之外的所有容器的健康检查都失败，并显示以下html" target="_blank">消息：

daniel@Yoga：~/Schreibtisch/Projekte/db/airlow_neu$docker日志airlowWorker
BACKEND=postgresql psycopg2 db_HOST=postg雷斯

DB_PORT=5432错误！已达到最大重试次数 （20）。

最后的检查结果： $ run_nc “postgres” '5432' 回溯 （最近调用最后一个）： 文件 “”， 行 1， 在 socket.gaierror： [Errno -3] 名称解析中的临时失败 无法解析为 IP 地址

我将其解释为Postgres数据库不再可访问，但我不知道如何解决这个问题。

• 我将气流容器添加到现有网络的方法正确吗？
• 我如何解决健康检查失败的问题？

Answer 1

通过包含外部标签来解决：

networks:
  default:
    external: true
    name: app-tier