当前位置: 首页 > 知识库问答 >
问题:

数据流工人未能从GCR取集装箱

柳英资
2023-03-14

刚收到这个错误消息:

(941D0D42AB1C3AEC):工作流失败。原因:(941D0D42AB1C3675):数据流似乎卡住了。请联系Dataflow团队,网址是http://stackoverflow.com/questions/tagged/google-cloud-dataflow。

共有1个答案

尉迟招
2023-03-14

感谢您分享作业ID。从Stackdriver日志中,我看到worker VM无法启动,因为它们无法从Docker中获取容器映像:

Handler for GET /v1.23/images/dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0/json returned error: No such image: dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0

编辑:经过进一步的检查,我可以看到没有分段罐子的工作。stagingFiles似乎只被一个csv文件覆盖:header_h-[..].csv

如果指定getfilestostage()选项,还必须包括运行管道所需的jar文件的完整列表。您可以在DetectClasspathResourceStage(classLoader)中看到DataFLowRunner是如何做到这一点的。

另外,这个管道使用的是Dataflow SDK0.6,目前不推荐使用。最新的1.x版本是1.9.1,也可以升级到基于Apache Beam的2.1.0。

 类似资料:
  • https://github.com/zalandoresearch/fashion-mnist#visualization 我下载了测试数据集 但是解压后发现,变成了 unix 可执行文件 但是我想获取原始图像,怎么办呢?

  • 主要内容:1.关系,2.区别1.关系 现在,没有什么流行词比大数据和人工智能更常见了。无数的分析家向我们保证,将从根本上重塑我们的日常生活。事实上,对于围绕人工智能和大数据的所有讨论,很少有人提到这两种新兴技术的融合,尤其是在解释人工智能为什么迫切需要大数据以取得成功的时候。 这是人工智能和大数据操作之间的秘密联系,以及这两种新兴趋势将如何主导21世纪。 没有大数据就不能拥有智能机器 在开始描述人工智能和大数据如何一起工作之

  • 我试图用以下链接中提供的信息将Cassandra作为Flink中的数据来源: null 异常跟踪-->

  • 2017-12-13(03:44:56)工作流失败。原因:数据流似乎被卡住了。请联系T...:工作流失败。原因:数据流似乎被卡住了。请联系Dataflow团队,网址是http://stackoverflow.com/questions/tagged/google-cloud-dataflow。 有人能帮忙做这项工作吗?谢了!

  • 我已经写了功能文件,我已经使用了示例关键字。其中一个输入没有传递到输入字段。 提供了多个用户名和密码,许多用户应该能够登录到newtours 场景大纲:使用凭据登录到帐户 给定用户导航到“ 和用户单击注册按钮 然后用户输入“”名字 然后用户输入“”lastname 和用户输入“”电话 然后用户输入“”emailaddress 和用户输入“”地址 和用户输入“”城市 并且用户进入“”状态 用户输入“

  • 让我从一句来自1950年的引言开始吧。当时的世界是个简单得多的地方。电视是黑白的。喷气式飞机尚未进入民用领域。硅晶体管还没发明问世。全世界一共只有十来台电脑。每台都是满满当当的真空管、继电器、插接板和电容器的华丽组合,能塞满整个房间。 因此,只有一个胆量十足的人才敢预测说:我相信,到了20世纪末,语言的用法和受过教育者的普遍观点将会出现重大转变,人可以说 机器在思考,且不认为这自相矛盾。多么大胆的