云数据流中失败的作业：启用数据流API
我当前正尝试将Dataflow与pub/sub一起使用，但出现以下错误：
工作流失败。原因:(6E74E8516C0638CA):刷新凭据时出现问题。请检查：1。已为项目启用Dataflow API。2.您的项目有一个机器人服务帐户:service-[project number]@dataflow-service-producer-prod.iam.gserviceAccount.com应该可以访问您的项目。如果此帐户未显示在yourproject的“权限”选项卡中，请与Dataflow支持人员联系。
我试图在API管理器中查找以启用Dataflow API，但我根本找不到Dataflow。我也没有看到机器人服务帐户。
共有1个答案
您可以通过在API管理器中搜索dataflow（应该枚举它是否已启用）来查看API是否已启用：
要找到适当的机器人帐户，请在IAM页面中搜索dataflow-service-producer-prod.IAM.gserviceaccount.com：
最后，快速入门指南可能有用。
-
我们的一些数据流作业在读取源数据文件时随机崩溃。 作业日志中写入了以下错误（workers日志中没有任何内容）： 我们有时也会遇到这种错误（登录在工人日志中）： 源数据文件存储在谷歌云存储中。 数据路径正确，作业通常在重新启动后工作。我们直到一月底才遇到这个问题。 使用以下参数启动作业：--tempLocation='gstoragelocation'--stagingLocation='Othe
-
我试图从一个数据流作业中运行两个分离的管道，类似于下面的问题： 一个数据流作业中的并行管道 如果我们使用单个p.run（）使用单个数据流作业运行两个分离的管道，如下所示： 我认为它将在一个数据流作业中启动两个独立的管道，但它会创建两个包吗？它会在两个不同的工人上运行吗？
-
当我在GCP中运行作业时，这工作很好，但如果没有任何更新，它将失败。如果我删除update标志，只要没有正在运行的作业，它就可以正常工作。 是否有一种方法来指定，如果作业存在，则更新它，而不仅仅是开始一个新的作业？
-
我们的公司策略要求启用策略约束“compute.requireshieldevm”。但是，运行云数据流作业时，无法创建工作进程，错误如下： 约束/计算。项目项目违反了RequireshieldVM/************。启动磁盘的“初始化”参数。source_image'字段指定非屏蔽映像：projects/dataflow service producer prod/global/image
-
我创建了一个简单的光束管道，如下所示 我（非常有限）的理解是，作为flex模板的一部分创建的docker映像只是在Dataflow上启动作业，所以不太明白它为什么抱怨java目录不存在。任何线索都将不胜感激。
-
我正在运行数据流作业从气流。我需要说我是气流的新手。数据流（从气流运行）正在成功运行，但我可以看到气流在获得工作状态时遇到了一些问题，我收到了无限的消息，比如： 谷歌云数据流作业尚不可用。。 以下是将所有步骤添加到数据流后的日志（我将{project ectID}和{jobID}放在它所在的位置）： 你知道这是什么原因吗？我找不到与此问题相关的任何解决方案。我应该提供更多信息吗？ 这是我在DAG中