如何在Python3上获得apache beam for dataflow GCP。十、

Question

我对GCP和数据流非常熟悉。然而，我想开始测试和部署一些利用GCP上的数据流的流。根据文档和围绕数据流的所有内容，必须使用Apache项目BEAM。因此，根据这里的官方文档，python的受支持版本是2.7

老实说，这是相当失望的，因为Python 2. x版本将消失，因为没有官方支持，每个人都在使用3. x版本。然而，我想知道是否有人知道如何准备梁和GCP数据流在python版本中运行。

我看了这段视频，以及这个牧师是如何完成这一里程碑的，显然它是在Python3.5上运行的。

更新：

我想要的人只是提出了一个想法，自从我与数据流作斗争以来，我就一直在想这个问题。我真的感到非常失望，因为这个工具无论是版本Java还是Python都很有挑战性。从python有关于版本3的约束，这几乎是当前的标准。另一方面，java在版本11上运行有问题，我必须稍微调整一下来运行版本8的代码，然后我开始与代码上的许多不兼容性作斗争。简而言之，如果GCP真的想前进并成为第一，还有很多地方需要改进。：失望：

解决方法：

我将java版本降级为jdk 8，安装maven，现在我的eclipse版本正在为ApacheBeam工作。

我终于解决了，但是，GCP真的请考虑增强和跨越对Java最新版本的支持 /Python.

非常感谢

Answer 1

请看@VibhorJain的答案，它现在起作用了。

目前还没有办法将Python3用于ApacheBeam（您可以为它编写一个适配器，但毫无意义）。

Python3的支持。X正在进行中，请关注apache beam问题。

视频中的附言，Python 3.5。2仅适用于编辑器版本，它不是运行apache beam的python。请注意，在bash中，python2.7正在运行。

Answer 2

现在可以在Python3.5上运行ApacheBeam（我在Direct和DataFlow runner上都试过）<代码>apache beam==2.11。0

运行时，它会附带警告：

用户警告：尚未完全支持在Python 3上运行Apache Beam SDK。您可能会遇到错误行为或丢失功能。

我已经注意到，光束。木卫一。gcp。pubsub。ReadFromPubSub（）已断开。将消息推送到PubSub，但管道从不读取消息（在Direct Runner上尝试）。

希望随着时间的推移，情况会有所改善。