数据流中的自定义Apache Beam Python版本

Question

我想知道是否有可能在Google数据流中运行一个定制的Apache Beam Python版本。在公共存储库中不可用的版本（撰写本文时为0.6.0和2.0.0）。例如，ApacheBeam的官方存储库中的HEAD版本，或该问题的特定标记。

我知道可以按照官方文件中的说明包装定制包装（例如，私人本地包装）。这里有一些关于如何为其他脚本执行此操作的问题。甚至有一个要点指导这一点。

但是，我还没有获得当前的ApacheBeam开发版本（或标记版本），该版本可以在其官方存储库的主分支中获得，以便打包并将脚本发送到Google数据流。例如，对于最新的可用标记，其PiP处理的链接是：githttps://github.com/apache/beam.git@v2。1.0-RC2#egg=apache#u梁[gcp]

INFO:root:Executing command: ['.../bin/python', '-m', 'pip', 'install', '--download', '/var/folders/nw/m_035l9d7f1dvdbd7rr271tcqkj80c/T/tmpJhCkp8', 'apache-beam==2.1.0', '--no-binary', ':all:', '--no-deps']
DEPRECATION: pip install --download has been deprecated and will be removed in the future. Pip now has a download command that should be used instead.
Collecting apache-beam==2.1.0
  Could not find a version that satisfies the requirement apache-beam==2.1.0 (from versions: 0.6.0, 2.0.0)
No matching distribution found for apache-beam==2.1.0

有什么想法吗？（我想知道这是否可能，因为Google Dataflow可能已经修复了可以运行到官方发布版本的Apache Beam版本）。




Answer 1

当我在一家Apache Beam的JIRA上得到这个问题的答案时，我会回答自己。

如果您想在Google Cloud Dataflow中使用自定义Apache Beam Python版本（即，使用--runerDataflowRunner运行管道），则必须使用选项--sdk_location

例如，在撰写本文时，如果您已经签出了ApacheBeam的git存储库的HEAD版本，那么您必须首先使用cd Beam/sdks/Python导航到Python SDK来打包存储库，然后运行Python安装程序。py sdist（压缩的tar文件将在dist子目录中创建）。

此后，您可以像这样运行管道：

python your_pipeline.py [...your_options...] --sdk_location beam/sdks/python/dist/apache-beam-2.2.0.dev0.tar.gz

谷歌云数据流将使用提供的SDK。