当前位置: 首页 > 知识库问答 >
问题:

作业图错误太大

西门骁
2023-03-14

我一直试图在Dataflow上运行一个apache beam作业,但我从GCP得到了一个错误,其中包含以下消息:

The job graph is too large. Please try again with a smaller job graph, or split your job into two or more smaller jobs.

我在过去运行过带有较大图形的作业,没有任何问题。该作业在本地使用Directrunner也运行良好。图中大约有12个节点,包括一个read from Bigquery步骤、一个WriteToText步骤和一个CoGroupByKey步骤。

有没有一种方法可以增加数据流愿意接受的图形大小?

共有1个答案

左丘兴生
2023-03-14

对于一个小管道,最有可能的原因是意外地将额外的数据序列化为DOFN(或其他序列化代码)。主类中是否有自动包含在闭包中的大对象?如果是这样,最简单的方法就是在静态函数中构建管道。

不可能提高图形大小限制。

 类似资料:
  • 我收到了来自tesseract的5 MB大小图像的以下错误。 Tesseract开源OCR引擎v3.01与Leptonica第0页图像太大:(39667,56133)处理过程中出现错误。 文件大小是否有限制,或者是否有解决此问题的参数。 感谢您的帮助。

  • 我正试图在Dataflow上运行作业,每当我试图将其提交到使用Dataflow Runner运行时,我都会从服务收到以下错误: 我如何更改我的工作,使其更小,或增加工作大小限制?

  • 每次使用cassandra connector在spark中运行scala程序时都会出现此错误 这是我的程序

  • 我有一个在docker容器中运行的spring-boot应用程序,其中安装了tesseract。 在Java程序中,我使用opencv预处理图像,如下所示 但是运行 给出错误: 图像太大: (1, 146327) 知道我哪里做错了吗?奇怪的是文件大小只有146kb,所以我不知道为什么宇宙魔方认为它太大了? 此外,如果我删除adaptiveThreshold步骤并直接在mat上执行<code>ime

  • 问题内容: 因此,我必须使用Tkinter来创建棋盘游戏。这只是程序的一部分,我想在其中引入董事会形象。但是我不断收到错误消息:“创建图像为时过早”,我不确定自己做错了什么。 到目前为止,这是我的代码: 任何帮助,将不胜感激。谢谢 :) 问题答案: 您忘记声明root- 。使用前,Tk系统必须打开。

  • 我的VBA程序很长,我无法运行该程序。只有编写错误“编译错误:过程太大”。我试着把它改成两个过程,但我不知道如何将它应用到我的系统中。有人能帮我把这个分成两个步骤吗?或者这个节目可以缩短吗?谢谢你,如果你想帮助我,我真的很感激。这是一块