当前位置: 首页 > 知识库问答 >
问题:

未为Stage-Spark创建任务

江德润
2023-03-14

我有一个工作,需要一个HiveQL连接2个表(2.5TB,45GB),重新分区到100,然后做一些其他的转换。这是早些时候执行的罚款。

作业阶段:阶段0:配置单元表1扫描阶段1:配置单元表2扫描阶段2:连接的钨交换阶段3:修复的钨交换

今天这项工作陷入了第二阶段。在200个应该执行的任务中,没有一个任务已经开始,但是290个任务由于执行程序被抢占而失败。

在深入研究阶段时,它说“执行者没有报告度量标准”。在executors选项卡下,我可以看到40个具有活动任务的executors。此外,当阶段2开始时,洗牌读取逐渐增加,并停止在45GB,在此之后,我没有看到任何进展。

多谢了。

共有1个答案

蔡修远
2023-03-14

结果是,这是一个巨大的数据集,在此阶段,连接被重新评估。当它读取数据集时,任务运行了很长时间。我持久化了加入的数据集,以使它的进度更快。

 类似资料:
  • 创建Pixi应用和 舞台 现在你可以开始使用Pixi! 但是怎么用? 第一步就是去创建一个可以显示图片的矩形显示区。Pixi拥有一个Pixi应用对象来帮助你创建它。它会自动创建一个<canvas>HTML标签并且计算出怎么去让你的图片在这个标签中显示。你现在需要创建一个特殊的Pixi容器对象,他被称作舞台。正如你所见,这个舞台对象将会被当作根容器而使用,它将包裹所有你想用Pixi显示的东西。 这里

  • 我一直在尝试对JavaFX阶段进行缩放转换,以替换应用程序主窗口的当前场景(在本例中为登录帧)。 当发生这种情况时,由于新场景更大,窗口的大小会以一种不优雅的方式突然被重新调整。

  • 我正在尝试从AWS控制台在ECS Fargate环境中启动测试任务,但每次尝试启动时,都会出现以下错误: 执行角色创建AmazoneCaskExecutionRole失败 我认为这是权限错误,所以我要求帐户所有者(我是另一个帐户的IAM用户)给我它们,现在我这样做了,但仍然不起作用。 我目前的ECS权限是: AmazonECS\u FullAccess 亚马逊执行角色政策 最糟糕的是,AWS没有提

  • 每个 gulp 任务(task)都是一个异步的 JavaScript 函数,此函数是一个可以接收 callback 作为参数的函数,或者是一个返回 stream、promise、event emitter、child process 或 observable (后面会详细讲解) 类型值的函数。由于某些平台的限制而不支持异步任务,因此 gulp 还提供了一个漂亮 替代品。 导出任务 任务(tasks