Dataproc设置每个执行程序容器的vCore数

Question

我正在构建一个运行在Dataproc上的spark应用程序。我计划使用临时集群，并为应用程序的每次执行旋转一个新的集群。所以我基本上希望我的工作能吃掉尽可能多的集群资源，而且我对需求有很好的想法。

我一直在尝试关闭动态分配并自己设置executor实例和内核。目前，我使用6个实例和30个核心的一个POP。

也许这更像是一个纱的问题，但我发现容器vCore和我的spark executor内核之间的关系有点混乱。在YARN application manager UI中，我看到生成了7个容器（1个驱动程序和6个执行程序），每个容器使用1个vcore。然而，在spark中，我看到执行程序本身使用了我指定的30个内核。

所以我很好奇执行者是否试图在本质上是一个1核心的盒子上并行执行30个任务。或者在AM gui中显示的vCore是错误的？

如果是前者，那么我想知道设置这个应用程序的最佳方法是什么，这样我就可以在每个工作节点上使用一个执行器，并且使用所有的CPU。

Answer 1

纱线GUI中显示的vCore错误；这是capacity-scheduler的一个未详细记录但已知的问题，它是DataProc的默认值。值得注意的是，使用Dataproc上的默认设置，YARN只是基于内存而不是CPU进行资源装箱；这样做的好处是，对于根据每个工作负载的需要而在不同程度上超额订阅CPU，特别是在IO绑定的情况下，这样做更加通用性强，但缺点是，YARN不会负责以固定的方式划分CPU使用量。

请参阅https://stackoverflow.com/A/43302303/3777211了解更改为fair-scheduler以查看vcores分配在yarn中的精确表示。然而,在您的情况下,这样做可能没有任何好处；使纱线跨两个维度进行装箱更多地是一个“共享多租户集群”问题，并且只会使调度问题复杂化。

在您的情况下,设置应用程序的最佳方法是忽略YARN关于vCore的内容；如果您只希望每个工作节点有一个执行器，那么将执行器内存大小设置为适合每个节点的最大值，并使每个执行器的核数等于每个节点的核数总数。