当前位置: 首页 > 知识库问答 >
问题:

这意味着什么呢,Spark的内部公平调度器让长寿命的应用程序定义队列

束阳旭
2023-03-14

我正在尝试理解Spark的作业调度,并在学习Spark中得到了这一点,

Spark通过可配置的应用程序内部调度策略提供了一种机制。Spark的内部公平调度器允许长寿命应用程序定义队列,以确定任务的优先级调度。

你能给我更多的细节吗?

共有1个答案

陶俊晤
2023-03-14

如公平调度程序文档中所述,您可以维护多个池,每个池都有自己的调度策略、最小(minshare)和相对(weight)资源分配。最后一个描述如下:

如果您给一个特定的池以2的权重,例如,它将获得与其他活动池一样多2倍的资源。设置一个较高的权重(如1000),还可以在池之间实现优先级--本质上,权重为1000的池总是能够在有活动的作业时首先启动任务。

 类似资料:
  • 我想创建一个

  • 我正在读一本关于JPA和EJB的书,上面有一行写着: “单例会话bean可以使用容器管理或bean管理的并发。默认为容器管理,对应于所有业务方法上的写锁。所有业务方法调用都是序列化的,因此在任何给定时间只有一个客户端可以访问bean。同步过程的实际实现由供应商提供。”-具体的。" 序列化方法调用意味着什么?为什么保证在任何给定时间只有一个客户机可以访问bean?

  • 我有一个写文件的方法,它可能有点慢。因此,我这样做是为了避免阻止其他操作: 然而,直到在a之后执行B之后,仍然需要一段时间,我想知道是否应该这样做: 或者,换句话说,调用一个内部有线程的方法是否意味着等待该方法结束,从而等待线程结束? 只是为了澄清一些事情:我想知道两个选项是否相同,或者在第一个选项中,线程是否应该完成以启动B指令。

  • 问题内容: 在我的Java应用程序中,我有此代码 当我为 android 2.3(第10级) 构建它时, 它可以编译并正常工作。但是,当我为 android 4.0(级别15) 构建它时,它会编译并在运行时崩溃并出现以下错误 当我评论这条线,并建立它工作正常,没有问题.. 所以我不明白为什么会这样,这段代码意味着什么? 问题答案: @Override public void onAttachedT