使用Scio部署数据流作业
我已经开始使用Scala SDK Scio开发我的第一个DataFlow工作。数据流作业将以流模式运行。
有谁能建议最好的部署方法吗？我已经在Scio文档中阅读了他们使用的sbt包，然后将其部署到Docker容器中。我也读过关于使用数据流模板的内容（但不是很详细）。
什么是最好的？
共有1个答案
与Java和Python版本一样，您可以使用Dataflow runner并从计算机（或VM/函数）启动它，直接在Dataflow上运行代码。
如果您想将其打包以便重新利用，可以创建一个模板。
无法在数据流上运行自定义容器。
-
我使用beam SDK用python编写了一个Google数据流管道。有一些文档介绍了我如何在本地运行它，并设置runner标志以在数据流上运行它。 我现在正尝试将其自动部署到CI管道（bitbucket管道，但并不真正相关）。有关于如何“运行”管道的文档，但没有真正的“部署”管道。我测试过的命令如下： 这将运行作业，但因为它正在流式传输，所以永远不会返回。它还在内部管理打包并推送到存储桶。我知道
-
安装依赖库 数据库配置 下载与安装 启动 Seafile 服务器 安装依赖库" class="reference-link">安装依赖库 Ubuntu 14.04，可用以下命令安装全部依赖。 sudo apt-get install openjdk-7-jre poppler-utils libpython2.7 python-pip mysql-server python-setuptools
-
嗨，我已经创建了一个apache beam管道，测试了它，并在eclipse内部运行了它，包括本地和使用dataflow Runner。我可以在eclipse控制台中看到管道正在运行。e.控制台上的日志。 这是我在cmd提示符中使用的maven命令， 这是我用来创建管道和设置选项的代码段。
-
在我当前的架构中，多个数据流作业在不同阶段被触发，作为ABC框架的一部分，我需要捕获这些作业的作业id作为数据流管道中的审计指标，并在BigQuery中更新它。 如何使用JAVA从管道中获取数据流作业的运行id？有没有我可以使用的现有方法，或者我是否需要在管道中使用google cloud的客户端库？
-
本文向大家介绍centos6使用docker部署redis主从数据库操作示例，包括了centos6使用docker部署redis主从数据库操作示例的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了centos6使用docker部署redis主从数据库操作。分享给大家供大家参考，具体如下： 目录结构： /redis /Dockerfile /Readme /redis-