纱线“公平调度程序”如何使用spark提交配置参数

Question

我对YARN“公平调度器”有一个基本问题。根据“公平调度器-公平调度是一种将资源分配给应用程序的方法，以便所有应用程序在一段时间内平均获得相等的资源份额”的定义。

以下是我的理解和问题。

（1）如果多个应用程序在YARN上运行，那么它将确保所有应用程序在一段时间内获得或多或少相等的资源共享。

（2） 我的问题是，如果在纱线中此属性设置为true，那么在提交spark submit时使用以下配置会有什么不同吗？

   (i)   driver-memory
   (ii)  executor-memory
   (iii) num-executors
   (iv)  executor-cores

如果在使用spark submit时提到这些conf参数，会发生什么情况？这些参数是否会被接受，资源是否会根据请求分配，或者这些conf参数将被忽略，spark应用程序将根据公平调度按纱线分配一些默认数量的资源。

如果这个问题还需要澄清，请告诉我。谢谢

Answer 1

实际上公平调度程序比这更复杂。在顶层，资源被组织成池/队列，每个池/队列都可以有自己的权重和内部调度策略，这不一定公平（如果需要，您可以使用FIFO调度）。

此外，公平调度并不意味着提交的应用程序将立即获得所需的资源共享。如果应用程序提交到繁忙的集群，并且无法分配请求的资源，则必须等待其他应用程序完成，或者使用抢占机制释放资源（如果启用）。

• 与spark submit一起使用的参数声明运行应用程序所需的资源量。这是问题的“什么”部分
• 公平调度器的工作是在可能的情况下分配这些资源。它的配置决定了可以分配给队列或应用程序的资源量。这是问题的“如何”部分

正如您所看到的，这两件事并不是相互排斥的，提交参数是有意义的，也是可以接受的。像往常一样，请求的资源量不能超过集群上可用的资源量，否则作业将失败。您还应该将其保持在特定队列的资源共享之下。