谷歌数据流模板-传递NumWorkers,MaxNumWorkers,WorkerMachineType,AutoscalingAlgorithm
我使用的是Google Cloud Dataflow Java SDK 2.1.0。
LOG.info("Number of workers => " + String.valueOf(options.getNumWorkers()));
共有1个答案
为了纠正您的错误，不可能以您尝试的方式指定环境参数。
“最大工作人员”、“区域”、“临时位置”、“机器类型”、“网络”和“子网络”可以指定为环境的一部分。有关在请求中指定它们的方法，请参见Cloud Dataflow文档中的示例1。
-
我在Google Cloud Platform上使用Python中的Google Cloud Dataflow实现。我的想法是使用来自AWS S3的输入。 谷歌云数据流（基于Apache Beam）支持从S3读取文件。然而，我在文档中找不到将凭证传递给作业的最佳可能性。我尝试将AWS_ACCESS_KEY_ID和AWS_ SECRET_ACCESS_KEY添加到安装程序中的环境变量中。py文件。然
-
我正在通过pub-sub接收消息，并希望使用消息数据上传到big-query以确定要上传数据到什么表。 我尝试执行以下操作： Pipeline.create（选项）；字符串BigQueryTable； 有没有什么方法可以做到这一点，而不编写我自己的DOFN？ 如果我确实需要实现我自己的doFn，如何实现它上传到大查询？
-
我正在尝试使用谷歌云数据流将谷歌PubSub消息写入谷歌云存储。PubSub消息采用json格式，我要执行的唯一操作是从json到parquet文件的转换。
-
我想把BigQuery表名作为运行时参数传递给我的数据流模板，就像这样简单： 这个问题有一个解决方案:https://issues.apache.org/jira/browse/beam-1440，但到目前为止我还不明白结论。
-
谷歌地图 LSV默认的对谷歌影像进行了加载，如果需要加载其他的谷歌地图数据，可以通过LSV中直接点击即可加载。 谷歌历史影像 LSV中支持对谷歌历史影响的查看，。通过历史影像，我们可以分析出很多单一影像无法获取的信息。触摸历史，寻找其他时空中发生的事情和变迁。历史影像主要用于进行多时相对比、去云、多角度观察、小路寻找等。 开启前： 开启后：
-
谷歌地图 LSV默认的对谷歌影像进行了加载，如果需要加载其他的谷歌地图数据，可以通过LSV中直接点击即可加载。 谷歌历史影像 LSV中支持对谷歌历史影响的查看，。通过历史影像，我们可以分析出很多单一影像无法获取的信息。触摸历史，寻找其他时空中发生的事情和变迁。历史影像主要用于进行多时相对比、去云、多角度观察、小路寻找等。 开启前： 开启后：