Spark可以预初始化重型第三方库吗？

Question

我有一个相当复杂的库，可以通过Java/JNI连接器访问，我想在集群中通过Spark使用它。然而，在第一次使用之前需要初始化库，这需要大约30秒。所以我的问题是Spark是否有某种机制在作业开始时预先初始化这样的库，以便实际使用时不需要这种初始化开销？

Answer 1

问题是Spark是否有某种机制在作业开始时预先初始化此类库，以便实际使用时不需要这种初始化开销？

就我所知

但是，如果您想使用RDD传输进行预初始化，那么在运行作业之前，请先获取一个空的RDD，然后您可以重置和/或初始化群集。。。

map reduce有设置和清理方法来初始化和清理。。。可以使用将map reduce样式代码转换为spark的相同方法，例如：

注意：空RDD可以重新分区。所以我在想下面的方法，如果它的转换，如果你使用action，那么你可以使用foreachPartition

mapPartitions示例：

val rdd = sc.emptyRDD.repartition(sc.defaultParallelism)    
rdd.mapPartitions(partition -> 
        setup() //library initialization like map-reduce setup method
        partition.map( item => 
            val output = process(item) // your logic here.
            if (!partition.hasNext) {
               // cleanup here
            }
        )
    )

foreachPartition示例：

 if (rdd.isEmpty) {
      rdd.repartition(sc.defaultParallelism).foreachPartition(_ => yourUtils.initOnce())
    }

>

请检查一下。。。http://blog.cloudera.com/blog/2014/09/how-to-translate-from-mapreduce-to-apache-spark/

也请参阅我的答案，详细解释map分区Apache Spark： map vs map分区