如何用localstack s3endpoint编程设置Airflow 1.10日志记录？

Question

在尝试为本地和kubernetes dev环境设置airflow日志记录到LocalStackS3存储桶时，我遵循airflow文档记录到s3。为了给出一点上下文，localstack是一个本地AWS云堆栈，其中包含在本地运行的s3在内的AWS服务。

我将以下环境变量添加到我的airflow容器中，类似于此其他堆栈溢出日志，以尝试记录到我的本地s3桶中。这是我为所有气流容器添加到docker-compose.yaml中的内容：

       - AIRFLOW__CORE__REMOTE_LOGGING=True
       - AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER=s3://local-airflow-logs
       - AIRFLOW__CORE__REMOTE_LOG_CONN_ID=MyS3Conn
       - AIRFLOW__CORE__ENCRYPT_S3_LOGS=False

我还向airflow.cfg添加了我的localstack s3信条

[MyS3Conn]
aws_html" target="_blank">access_key_id = foo
aws_secret_access_key = bar
aws_default_region = us-east-1
host = http://localstack:4572    # s3 port. not sure if this is right place for it 

from airflow.hooks import S3Hook
s3 = S3Hook(aws_conn_id='MyS3Conn')
s3.load_string('test','test',bucket_name='local-airflow-logs')

但我得到botocore.exceptions.noCredentialSerror：无法定位凭据。

无论如何，需要编程设置，而不是手动设置。

我能够使用一个独立的Python脚本（通过boto显式输入AWS凭据）访问bucket，但它需要作为Airflow的一部分工作。

我可以单独使用boto在localstack中检查和写入我的s3 bucket。此外，curl http：//localstack:4572/local-mochi-airflow-logs从airflow容器返回桶的内容。和AWS-endpoint-url=http://localhost:4572 s3 ls返回无法连接到endpointURL：“http://localhost:4572/”。

从docker中运行的airflow中记录到LocalStackS3存储桶还需要哪些其他步骤？

Answer 1

我认为您应该对endpoint使用localhost而不是localstack，例如host=http://localhost:4572。

在Airflow 1.10中，您可以在每个连接的基础上覆盖endpoint，但不幸的是，它一次只支持一个endpoint，因此您需要为所有使用该连接的AWS钩子更改它。要覆盖它，编辑相关的连接，并在“extra”字段中放入：

{"host": "http://localhost:4572"}

我相信这会解决的？