Spark中每个任务的CPU数

Question

我不太理解spark.task.cpus参数。在我看来，“任务”对应于执行器中的“线程”或“进程”。假设我将“spark.task.cpus”设置为2。

>

线程如何同时使用两个CPU？它不会需要锁并导致同步问题吗？

我正在查看部署/执行器/Executor.scala中的启动任务（）函数，在这里我看不到任何“每个任务的cpu数量”的概念。那么Spark最终在哪里/如何在独立模式下为任务分配多个cpu呢？

Answer 1

据我所知，在已知某些特定任务具有自己的内部（自定义）并行性的情况下，spark.task.cpus控制集群中任务的并行性。

更详细地说：我们知道spark.cores.max定义了您的应用程序需要多少线程（又名内核）。如果您留下spark.task.cpus=1，那么您将有#spark.cores.max个并发Spark任务同时运行。

如果您知道您的任务本身是并行化的（也许您的每个任务都会产生两个线程，与外部工具交互等），您只会想要更改spark.task.cpus。通过相应地设置spark.task.cpus，您将成为一个好的“公民”。现在，如果您有spark.cores.max=10和spark.task.cpus=2 Spark将只创建10/2=5个并发任务。鉴于您的任务内部需要（比如说）2个线程，执行线程的总数永远不会超过10个。这意味着您永远不会超过您的初始合约（由spark.cores.max定义）。