当前位置: 首页 > 面试题库 >

请列出你所知道的hadoop调度器,并简要说明其工作方法?

赵君植
2023-03-14
本文向大家介绍请列出你所知道的hadoop调度器,并简要说明其工作方法?相关面试题,主要包含被问及请列出你所知道的hadoop调度器,并简要说明其工作方法?时的应答技巧和注意事项,需要的朋友参考一下
  1. 先进先出调度器(FIFO)

Hadoop 中默认的调度器,也是一种批处理调度器。它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业

  1. 容量调度器(Capacity Scheduler)

支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制

  1. 公平调度器(Fair Scheduler)

--公平调度是一种赋予作业(job)资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。所有的 job 具有相同的资源,当单独一个作业在运行时,它将使用整个集群。当有其它作业被提交上来时,系统会将任务(task)空闲资源(container)赋给这些新的作业,以使得每一个作业都大概获取到等量的CPU时间。与Hadoop默认调度器维护一个作业队列不同,这个特性让小作业在合理的时间内完成的同时又不"饿"到消耗较长时间的大作业。公平调度可以和作业优先权搭配使用——优先权像权重一样用作为决定每个作业所能获取的整体计算时间的比例。同计算能力调度器类似,支持多队列多用户,每个队列中的资源量可以配置, 同一队列中的作业公平共享队列中所有资源。

 类似资料:
  • 本文向大家介绍请列出你所知道的 hadoop 调度器,并简要说明其工作方法?相关面试题,主要包含被问及请列出你所知道的 hadoop 调度器,并简要说明其工作方法?时的应答技巧和注意事项,需要的朋友参考一下 解答: 1.FIFO schedular:默认,先进先出的原则 2.Capacity schedular:计算能力调度器,选择占用最小,优先级高的先执行,以此类推。 3.Fair schedu

  • 本文向大家介绍请列举你所知道的Object类的方法并简要说明。相关面试题,主要包含被问及请列举你所知道的Object类的方法并简要说明。时的应答技巧和注意事项,需要的朋友参考一下 考察点:面向对象 Object()默认构造方法。clone() 创建并返回此对象的一个副本。equals(Object obj) 指示某个其他对象是否与此对象“相等”。finalize()当垃圾回收器确定不存在对该对象的

  • 本文向大家介绍请说出你所知道的线程同步的方法相关面试题,主要包含被问及请说出你所知道的线程同步的方法时的应答技巧和注意事项,需要的朋友参考一下 考察点:线程同步 wait():使一个线程处于等待状态,并且释放所持有的对象的lock。  

  • 本文向大家介绍请你说一说你知道的排序算法及其复杂度相关面试题,主要包含被问及请你说一说你知道的排序算法及其复杂度时的应答技巧和注意事项,需要的朋友参考一下 参考回答: 1、冒泡排序: 从数组中第一个数开始,依次遍历数组中的每一个数,通过相邻比较交换,每一轮循环下来找出剩余未排序数的中的最大数并“冒泡”至数列的顶端。 稳定性:稳定 平均时间复杂度:O(n ^ 2) 2、插入排序: 从待排序的n个记录

  • 本文向大家介绍简要描述下你知道的react工作原理是什么?相关面试题,主要包含被问及简要描述下你知道的react工作原理是什么?时的应答技巧和注意事项,需要的朋友参考一下 dom diff: https://zhuanlan.zhihu.com/p/20346379

  • 本文向大家介绍请你说一说你知道的自动化测试框架相关面试题,主要包含被问及请你说一说你知道的自动化测试框架时的应答技巧和注意事项,需要的朋友参考一下 参考回答: 1、模块化测试框架 模块化测试脚本框架(TEST MODulARITY FRAMEWORK)需要创建小而独立的可以描述的模块、片断以及待测应用程序的脚本。这些树状结构的小脚本组合起来,就能组成能用于特定的测试用例的脚本。在五种框架中,模块化