当前位置: 首页 > 知识库问答 >
问题:

服务帐户执行批处理数据流作业

庄飞
2023-03-14

我需要使用服务帐户执行数据流作业,下面是同一平台中提供的一个非常简单和基本的wordcount示例。

根据这一点,GCP要求服务号具有数据流工作者的权限,以便执行我的作业。即使我已经设置了所需的权限,错误仍然出现时,堰部分会出现:

有人能解释这种奇怪的行为吗?太感谢了

共有1个答案

郎琪
2023-03-14

要运行数据流作业,项目必须启用计费和以下Google云平台API:

  • 谷歌云数据流API

项目中还应该有足够的配额用于数据流作业中使用的任何一个API。

我建议您创建一个新的服务帐户,其名称以前从未使用过,然后授予角色/数据流。工人将此新的新服务帐户。请记住,云IAM传播只需不到60秒,最多7分钟,因此请在IAM更改和数据流作业创建之间留出几分钟的时间。

另一种可能的解决方法是删除Dataflow worker权限并再次添加它。删除帐户后,权限将保留,指向其旧ID。在明确删除角色之前,不得刷新此ID。

我鼓励您访问具有角色描述和权限留档的数据流IAM角色。

 类似资料:
  • 我试图使用数据工厂中的自定义活动在批处理帐户池中执行存储在Blob存储中的python批处理。 我学习了微软教程https://docs.microsoft.com/en-us/azure/batch/tutorial-run-python-batch-azure-data-factory 根据执行情况,它发生在所有ADF参考文件上,也发生在我的批处理文件上。 我是新手,不知道该怎么解决这个问题。

  • 我知道我可以用云函数和PubSub通知来完成每个写入的文件,但我更喜欢只在整个文件夹完成时这样做一次。 谢了!

  • 我的spring批处理应用程序运行在连接到MySQL数据库(单实例)的PCF平台上,只有一个实例启动时运行良好

  • 我正在尝试在GCP数据流中运行批处理作业。工作本身有时会占用大量内存。目前,工作一直在崩溃,因为我相信每个工作人员都在试图同时运行pcollection的多个元素。有没有办法防止每个工人一次运行多个元素?

  • 管理帐户数据 若要使用此机能,可能需先更新系统软件。 可确认或变更进入PlayStation®Network时建立的帐户数据。 仅能于已登入PlayStation®Network时操作。请进入(PlayStation®Netrowk)并选择(管理账户)。 可确认/变更的项目 账户管理 可确认/变更帐户数据。 信用卡数据 登入ID(电子邮件地址) 密码 姓名 地址 个人造型 个人资料 通知邮件设定

  • 主要内容:编写和执行本章介绍与批处理脚本相关的环境。 编写和执行 通常,要创建批处理文件,可以使用记事本或Ediplus之类的文本编辑器。 这是创建批处理文件的最简单的工具。 接下来是批处理脚本的执行环境。 在Windows系统上,这是通过命令提示符或来完成。 所有批处理文件都在此环境中运行。 以下是启动的两种方法 - 方法1 - 转到并双击文件。如下图所示 - 方法2 - 通过运行命令 - 以下图片显示在Windo