当前位置: 首页 > 知识库问答 >
问题:

为Google cloud Dataflow部署和管理Python SDK Apache Beam管道执行的便捷方法是什么

马梓
2023-03-14

使用Python SDK和DataflowRunner在Google的云数据流中设计并测试了Apache Beam管道之后,有什么方便的方法可以将它放在Google云中并管理它的执行呢?

为Google Cloud Dataflow部署和管理Python SDK Apache Beam管道执行的便捷方法是什么?

它应该以某种方式包装吗?上传到谷歌存储?创建数据流模板?如何在开发人员从开发环境中执行之外调度它的执行呢?

更新

最好不需要第三方工具,或者需要谷歌云和数据流以外的其他管理工具/基础设施。

共有1个答案

章锦
2023-03-14

数据流模板引入了一种不同于传统作业执行工作流的新的开发和执行工作流。模板工作流将开发步骤与分段和执行步骤分开。

请注意:

要使用Cloud Dataflow SDK2.x for Python创建模板,您必须具有2.0.0或更高版本。

您需要使用dataflowrunner和管道选项来执行管道,这些选项将在Google云存储上生成模板,而不是运行模板。

有关更多详细信息,请参阅创建模板文档一节,从模板运行它,请参阅执行模板一节。

 类似资料:
  • 问题内容: console.log(0.5 | 0); // 0 console.log(-1 | 0); // -1 console.log(1 | 0); // 1 为什么返回零,但任何整数(包括负数)都返回输入整数?单个管道(“ |”)有什么作用? 问题答案: 这是按位或。 由于按位运算仅对整数有意义,因此将被截断。 是,对于任何人。

  • [错误]无法执行目标组织。阿帕奇。公猫maven:tomcat7 maven插件:2.1:ProjectCliff上的部署(默认cli):无法调用Tomcat manager:Connection tohttp://localhost:8080拒绝:连接被拒绝 OS X 10.10.5 Apache Tomcat/8.0.24 JVM 1.8.0_05-b13 波姆。xml: ~/.m2/设置。x

  • 2.2 部署管理端 camel-admin是一个Java EE项目,可以通过接口及页面两种方式对Nginx集群进行发布、重启、监控等操作。 此步骤中,共有三个本地配置文件需要配置:jdbc-mysql.properties、mongo.properties、camel.properties,请不要遗漏。 如果您用的是windows系统,运行程序在什么盘,即在此盘下部署配置文件。 2.1.1 建立数

  • 我试图通过jenkins管道将azure web应用程序部署到azure form git 代码如下所示 这怎么可能?有什么方法可以将git repo url作为参数提供给azure插件吗? 谢了!

  • 我在https://angular.io看教程,找文档有困难;特别是对于方法< code>pipe和< code>tap。在https://angular.io或者http://reactivex.io/rxjs/.上什么都找不到 我的理解是和都是的方法,是从RxJS导入的,对吗?它们应该做什么? 这些方法是Angular的一部分吗?这两种方法是做什么的?