数据流作业-update_if_exists？
java -jar build/libs/my-job-1.0-all.jar \
--project=$PROJECT \
--region=us-central1 \
--subscription=$SUBSCRIPTION \
--jobName=my-job \
--runner=DataflowRunner \
--streaming=true \
--stableUniqueNames=ERROR \
--workerMachineType=n1-standard-2 \
--usePublicIps=false \
--network=default \
--update
当我在GCP中运行作业时，这工作很好，但如果没有任何更新，它将失败。如果我删除update标志，只要没有正在运行的作业，它就可以正常工作。
是否有一种方法来指定，如果作业存在，则更新它，而不仅仅是开始一个新的作业？
共有1个答案
-
null
-
在我当前的架构中，多个数据流作业在不同阶段被触发，作为ABC框架的一部分，我需要捕获这些作业的作业id作为数据流管道中的审计指标，并在BigQuery中更新它。 如何使用JAVA从管道中获取数据流作业的运行id？有没有我可以使用的现有方法，或者我是否需要在管道中使用google cloud的客户端库？
-
我当前正尝试将Dataflow与pub/sub一起使用，但出现以下错误： 工作流失败。原因:(6E74E8516C0638CA):刷新凭据时出现问题。请检查：1。已为项目启用Dataflow API。2.您的项目有一个机器人服务帐户:service-[project number]@dataflow-service-producer-prod.iam.gserviceAccount.com应该可以
-
我已经开始使用Scala SDK Scio开发我的第一个DataFlow工作。数据流作业将以流模式运行。 有谁能建议最好的部署方法吗？我已经在Scio文档中阅读了他们使用的，然后将其部署到Docker容器中。我也读过关于使用数据流模板的内容（但不是很详细）。 什么是最好的？
-
使用“file_loads”技术通过Apache Beam数据流作业写入BigQuery时出错。流式插入（else块）工作正常，符合预期。file_load（如果块）失败，错误在代码后面给出。bucket中GCS上的临时文件是有效的JSON对象。 来自pub/sub的原始事件示例： 数据流作业出错：
-
我一直在运行基于12月创建的模板的数据流作业，该模板在运行时传递一些参数，没有任何问题。我现在不得不对模板做了一些修改，我似乎在生成一个工作模板时遇到了问题，即使使用和以前一样的beam代码/版本。我的工作只是无限期地挂起-尝试离开一个，大约一个小时后超时。 当然有一个问题，因为即使是我创建空PCollection的第一步也没有成功，它只是说运行。 我已经从函数中抽象出来，以解决问题可能是什么，因