当前位置: 首页 > 知识库问答 >
问题:

作业图太大,无法提交到Google Cloud Dataflow

萧永望
2023-03-14

我正试图在Dataflow上运行作业,每当我试图将其提交到使用Dataflow Runner运行时,我都会从服务收到以下错误:

{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "Request payload size exceeds the limit: x bytes.",
    "reason" : "badRequest"
  } ],
  "message" : "Request payload size exceeds the limit: x bytes.",
  "status" : "INVALID_ARGUMENT"
}
Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 400 Bad Request
{
  "code" : 400,
  "errors" : [ {
    "domain" : "global",
    "message" : "(3754670dbaa1cc6b): The job graph is too large. Please try again with a smaller job graph, or split your job into two or more smaller jobs.",
    "reason" : "badRequest",
    "debugInfo" : "detail: \"(3754670dbaa1cc6b): CreateJob fails due to Spanner error: New value exceeds the maximum size limit for this column in this database: Jobs.CloudWorkflowJob, size: 17278017, limit: 10485760.\"\n"
  } ],
  "message" : "(3754670dbaa1cc6b): The job graph is too large. Please try again with a smaller job graph, or split your job into two or more smaller jobs.",
  "status" : "INVALID_ARGUMENT"
}

我如何更改我的工作,使其更小,或增加工作大小限制?

暂时还没有答案

 类似资料:
  • 我一直试图在Dataflow上运行一个apache beam作业,但我从GCP得到了一个错误,其中包含以下消息: 我在过去运行过带有较大图形的作业,没有任何问题。该作业在本地使用Directrunner也运行良好。图中大约有12个节点,包括一个read from Bigquery步骤、一个步骤和一个步骤。 有没有一种方法可以增加数据流愿意接受的图形大小?

  • 正如标题所预期的,我在向docker上运行的spark集群提交spark作业时遇到了一些问题。 我在scala中写了一个非常简单的火花作业,订阅一个kafka服务器,安排一些数据,并将这些数据存储在一个elastichsearch数据库中。 如果我在我的开发环境(Windows/IntelliJ)中从Ide运行spark作业,那么一切都会完美工作。 然后(我一点也不喜欢java),我按照以下说明添

  • 我试图提交一个作业在运行Presto的群集与postgresql连接器。 集群初始化如下所示: 指向一个bash文件,其中包含使用postgresql启动presto集群的初始化操作。 我不使用,因为我需要来执行非默认操作。同时具有和都不起作用。 当我尝试运行简单作业时: 我得到以下错误: 是否有其他方法来定义集群上的可选组件? 更新: 同时使用和,如下所示: 是从该repo复制的。只需对函数以创

  • 问题内容: 但是有很多歧义和提供的一些答案…包括在jars / executor / driver配置或选项中复制jar引用。 How ClassPath is affected Driver Executor (for tasks running) Both not at all Separation character: comma, colon, semicolon If provided

  • 我有一个图像是6400×3200,而我的屏幕是1280×800。因此,图像需要调整大小,仅供显示。我使用的是Python和OpenCV 2.4.9。根据OpenCV文档, 如果需要显示大于屏幕分辨率的图像,则需要在IMShow之前调用namedWindow(“”,WINDOW_NORMAL)。

  • 我做了一个有很大背景的应用程序。它在Nexus7上运行得很好,但在我的Galaxy Nexus上,背景消失了,在logcat中给出了一个错误:位图太大,无法上传到纹理中(...)。 谢谢你提前帮我!