如何在Airflow上运行DockerOperator？

Question

我正在使用docker compose和气流图像puckel/docker气流设置一个新的气流服务器BashOperators和PythonOperator运行良好，但当我尝试使用DockerOperator时，没有名为“docker”的模块。

我需要如何更改我的docker-compose文件才能在我的docker中使用docker？

我试图在谷歌上查找错误消息，但没有一个建议的解决方案奏效。

这是我正在使用的< code>WebServer的docker-compose

webserver:
    image: puckel/docker-airflow:1.10.1
    build:
      context: https://github.com/puckel/docker-airflow.git#1.10.1
      dockerfile: Dockerfile
      args:
        AIRFLOW_DEPS: gcp_api,s3,docker        
    restart: always
    depends_on:
      - postgres
    environment:
      - LOAD_EX=n
      - EXECUTOR=Local
      - FERNET_KEY=jsDPRErfv8Z_eVTnGfF8ywd19j4pyqE3NpdUBA_oRTo=
    volumes:
      - ./LOCALPATHTODAGS/dags:/usr/local/airflow/dags
    ports:
      - "8080:8080"
    command: webserver

我的最终目标是能够从气流管道中触发本地图像的 Docker 容器。

Answer 1

“docker”实际上也是一个Python模块，可能在DockerOperator的源代码中导入。假设您在需求中安装了依赖项。txt文件，您可以将docker==4.1.0>添加到您的需求中。txt文件，该文件应与您的Dockerfile>位于同一目录中。

因此，在您的泊坞文件中，您需要：

COPY requirements.txt requirements.txt
USER root
RUN pip install -r requirements.txt

在您的需求文件中，您需要：

docker==4.1.0  # Other versions probably also work

Answer 2

您可以使用两种方法：

1. 将before_script添加到当前docker compose：

webserver:
   (...)
   before_script:
   - pip install docker