当前位置: 首页 > 知识库问答 >
问题:

在Azkaban并行流/depedences上设置优先级

曹和正
2023-03-14

我使用的是Azkaban 3.4.1,我的一个流有30多个依赖项。有些依赖项比另一个依赖项需要更长的时间。所以,我想把这些流的优先级放在另一个流之前。(因为运行线程有限)

目前,flow.num.job.threads10限制了并行执行的数量。我尝试增加该属性,并确保长进程立即启动,但cpu变得非常高,所以我不确定这是一个好的选择。

共有1个答案

周培
2023-03-14

使用这个分叉https://github.com/hanip-ss/azkaban/releases/tag/3.4.2。

我现在可以在作业属性文件中添加job.priority值。

 类似资料:
  • 问题内容: 我按以下顺序设置了线程的优先级 先是A然后是B,然后是C。但是当我在下面的程序中运行时,有时B在A之前运行。我不理解这种执行方式,因为我将B的优先级设置为小于A的优先级。 } 问题答案: 线程优先级可能不是您认为的那样。 线程的优先级是对操作系统的建议,在涉及这两个线程的任何调度或CPU分配决策点中,一个线程优先于另一个线程。但是,如何实现这一点取决于操作系统和JVM的实现。 Java

  • 问题内容: 我有一个在几个线程中运行的程序。主线程与其他线程共享一个对象,在主线程中,我需要调用: 我怀疑主线程饿了,无法访问。如何提高主线程的优先级,或者默认情况下它是否已高于其他线程? 问题答案: 您在Thread类中有一个setPriority()方法。 检查此javadoc。 将线程优先级设置为最大:

  • 在https://cadenceworkflow.io/docs/03_concepts/02_activities#activity-task-routing-through-task-lists的留档中,它提到通过每个优先级有一个任务列表和每个优先级有一个工作池来支持多个优先级。在这种实现下,可能仍然有低优先级的工作流在高优先级工作流之前执行。 是否可以实现一个优先级系统,以便在流向高优先级工

  • 问题内容: Boost库似乎没有用于设置线程优先级的设备。这是在Linux上使用的最佳代码,还是有更好的方法? 我没有很多Linux编程经验。 问题答案: 那是我如何做的基本模板,但是在搜索之后,我发现几乎没有代码示例,因此我猜想是关于最佳还是无效的判断。 问题在于boost :: thread没有允许在创建线程时传递pthead属性的构造函数,因此您必须在线程启动后进行更改。我知道解决该问题的唯

  • 这是我的代码,例如“1 4 2*3”我如何编辑我的代码,首先乘法,然后除法,然后-。有人有主意了吗?

  • 问题内容: 我之前在RHEL机器上安装了Java。现在,我正在尝试运行一个需要设置JAVA_HOME变量的程序。找出我的Java安装的安装目录然后设置JAVA_HOME的最佳方法是什么?这是运行java- version的结果: 我有一个/ usr / lib / jvm目录,但是它是空的。 问题答案: 首先,从命令行尝试。由于已经在您的路径上,可能会被设置。 找出我的Java安装的安装目录的最佳