我有一个数据流问题,我需要执行一个作业,我得到以下错误:
Workflow failed. Causes: There was a problem refreshing your credentials. Please check:
1. Dataflow API is enabled for your project.
2. There is a robot service account for your project:
service-[project number]@dataflow-service-producer-prod.iam.gserviceaccount.com should have access to your project. If this account does not appear in the permissions tab for your project, contact Dataflow support.
并且我已经在项目中创建了服务帐户和许可证。
问候
将服务帐户电子邮件添加到PipelineOptions的service_account_email选项中。
def get_pipeline_options(self):
options = PipelineOptions( )
gcp_options = options.view_as( GoogleCloudOptions )
gcp_options.job_name = "sampleflow"
gcp_options.project = "etldemo-000000"
gcp_options.staging_location = "gs://<bucket name>/stage"
gcp_options.temp_location = "gs://<bucket name>/tmp"
gcp_options.service_account_email = "etldemo@etldemo-000000.iam.gserviceaccount.com"
options.view_as( StandardOptions ).runner = 'DataflowRunner'
return options
我在谷歌云平台上运行数据流作业,我得到的一个新错误是“工作流失败”,没有任何解释。我得到的日志如下: 我该怎么找出哪里出了问题?对象上的权限不应该有问题,因为类似的作业会成功运行。当我试图从谷歌云控制台重新运行模板时,我会收到消息: 找不到此模板的元数据文件 但是我能够启动模板,现在它成功运行。这可能与超额配额有关吗?我们刚刚增加了数据流的CPU和IP配额,我将并行运行的作业从5个增加到15个,以
我有一些关于使用Java Spring的API JWT刷新令牌工作流的问题。 到目前为止我有这个: 用户登录到/users/login-如果成功,将返回具有2个头的响应,并进行授权和刷新。其中包含2个令牌--一个短30分钟到期,另一个长4小时到期。 然后他可以使用授权标头访问所有其他endpoint。 如果在访问某个endpoint时,他的令牌过期,他将收到一个未经授权的错误)。 并且必须使用给定
我正在处理一些奇怪的错误信息,我认为这可以归结为内存问题,但我很难确定它,可以从专家那里得到一些指导。 我有一个两台机器的Spark(1.0.1)集群。两台机器都有8个核心;一台有16GB内存,另一台有32GB内存(这是主)。我的应用程序涉及计算图像中的成对像素亲和力,尽管我测试的图像到目前为止只有1920x1200大,16x16小。 我确实必须改变一些内存和并行性设置,否则我会得到显式的OutO
问题内容: 每次尝试添加时, 都会出现以下错误 问题答案: 清除gradle缓存->删除整个文件夹->项目目录。不用担心它将被重新创建。这同样适用于- >主目录。 您还可以转到文件->无效->缓存/重新启动。
我在运行数据流作业时得到以下错误。我正试图将现有的beam版本更新到2.11.0,但在运行时出现了以下错误。 java.lang.incompatibleClassChangeError:类org.apache.beam.model.pipeline.v1.runnerAPI$standardpTransforms$Primitives没有实现在org.apache.beam.runners.co