执行三个并行Spark流作业

Question

我正在亚马逊的EMR集群上同时运行3个Spark流进程。问题是这三个Spark流作业中的一个基于toLocaliterator进行处理：

dstreamdata.foreachRDD(entry => {
      entry.toLocalIterator.foreach

spark-submit --deploy-mode cluster --executor-cores 6 --executor-memory 10g --num-executors 2 --conf spark.yarn.submit.waitAppCompletion=false --queue queue_name_of_spark_job

有没有办法在不更改代码的情况下解决这个问题？

Answer 1

1.1）如果您使用Kinesis作为您的队列，请确保您的执行器内核是Kinesis碎片的两倍。这可能适用于Kafka，我忘记了Kafka连接器是如何工作的。这是因为连接器每碎片消耗一个内核，所以您必须确保您有可用的执行器内核来实际处理数据。

在过去，我使用了每个kinesis碎片一个执行器，每个执行器有2个或更多的内核，这在我的用例中很好地工作。

1.2）目前，您的代码正在将所有数据作为迭代器取回驱动程序。如果您有大量的数据，您可能需要为驱动程序分配更多的资源，以便它能够处理RDD中的所有数据。这感觉有点不对：-如果您可以在一个实例中容纳所有数据，您就不需要Spark的复杂性了！

Spark2.0.x配置为您提供了可用的配置细节。

我建议首先查看driver.cores和/或driver.memory。我怀疑你需要更多的核心，但你需要实验。

下面是一些示例代码，其中包含了更多信息的链接：

dstream.foreachRDD { rdd =>
  // code here is executed by the driver
  rdd.foreachPartition { partitionOfRecords =>
    // code here is executed by the workers per partition
  }
}

http://spark.apache.org/docs/latest/streaming-programming-guide.html#design-patterns-for-using-foreachrdd