如何运行Python谷歌云数据流作业与自定义Docker图像？

Question

我想运行一个Python谷歌云数据流作业与自定义Docker图像。

根据文件，这应该是可能的：https://beam.apache.org/documentation/runtime/environments/#testing-自定义图像

为了尝试此功能，我使用此公共repo中的文档中的命令行选项设置了基本wordcount示例管道https://github.com/swartchris8/beam_wordcount_with_docker

我可以在本地使用apachebem/python3运行PortableRunner的wordcount作业。6_sdk图像，但使用Dataflow我无法做到这一点。

我正在尽可能密切地关注PortableRunner的文档，我的参数是：

python -m wordcount --input wordcount.py \
--output counts \
--runner=PortableRunner \
--job_endpoint=embed \
--environment_config=apachebeam/python3.6_sdk

对于数据流：

python -m wordcount --input wordcount.py \
--output gs://healx-pubmed-ingestion-tmp/test/wordcount/count/count \\
--runner=DataflowRunner \
--project=healx-pubmed-ingestion \
--job_name=dataflow-wordcount-docker \
--temp_location=gs://healx-pubmed-ingestion-tmp/test/wordcount/tmp \
--experiment=beam_fn_api \
--sdk_location=/Users/chris/beam/sdks/python/container/py36/build/target/apache-beam.tar.gz \
--worker_harness_container_image=apachebeam/python3.6_sdk \
--region europe-west1 \
--zone europe-west1-c

有关完整的详细信息，请参阅链接的回购。

我在这里做错了什么，或者数据流中的Python作业不支持此功能？

Answer 1

不幸的是，Dataflow目前使用它自己的（不兼容的）辅助角色容器，但是对此的修复正在积极进行中。

Answer 2

您应该能够将自定义容器与Dataflow一起使用，并具有--试验=--use_runner_v2，默认情况下，该容器将很快启用。示例命令行可能看起来像：

pip install apache-beam[gcp]==2.24.0
python -m apache_beam.examples.wordcount \
--output gs://healx-pubmed-ingestion-tmp/test/wordcount/ \
--runner=DataflowRunner \
--project=healx-pubmed-ingestion \
--region europe-west1 \
--temp_location=gs://healx-pubmed-ingestion-tmp/test/wordcount/tmp \
--worker_harness_container_image=apache/beam_python3.6_sdk:2.24.0 \
--experiment=use_runner_v2
                           

要自定义容器，请遵循https://beam.apache.org/documentation/runtime/environments/#customizing-container-images.说明