如果否，如何处理火花RDD分区。执行者数

Question

我想了解火花流中的一个基本的东西。我有50个Kafka主题分区和5个执行者的数字，我正在使用DirectAPI所以没有。的RDD分区将为50个。这个分区将如何在5个执行器上处理？将在每个执行器上一次触发进程1个分区，或者如果执行器有足够的内存和内核，它将在每个执行器上并行处理超过1个分区。

Answer 1

将在每个执行器上一次触发进程1个分区，或者如果执行器有足够的内存和内核，它将在每个执行器上并行处理超过1个分区。

Spark将根据正在运行的作业可用内核的总量来处理每个分区。

假设您的流式作业有10个执行器，每个执行器有2个核。这意味着，假设spark.task.cpus设置为1，您将能够并发处理10 x 2=20个分区。

private def makeOffers() {
  // Filter out executors under killing
  val activeExecutors = executorDataMap.filterKeys(executorIsAlive)
  val workOffers = activeExecutors.map { case (id, executorData) =>
    new WorkerOffer(id, executorData.executorHost, executorData.freeCores)
  }.toIndexedSeq
  launchTasks(scheduler.resourceOffers(workOffers))
}

这里的关键是executorDataMap，它保存了从执行器id到executorData的映射，该映射告诉系统中每个这样的执行器使用了多少核，并根据该核和分区的首选位置，对该任务应该运行哪个执行器进行有根据的猜测。

下面是一个使用Kafka的Spark流媒体应用的例子：

我们有5个分区，运行着3个执行器，其中每个执行器有2个以上的内核，这使得流可以并发地处理每个分区。