纱线模式下的火花RDD映射不允许访问变量？

Question

我在mapr集群上安装了一个全新的spark 1.2.1,在测试它时，我发现它在本地模式下工作得很好，但在yarn模式下，它似乎无法访问变量，如果广播的话也是如此。准确地说，下面的测试代码

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object JustSpark extends App {
val conf = new org.apache.spark.SparkConf().setAppName("SimpleApplication")
val sc = new SparkContext(conf)
val a = List(1,3,4,5,6)
val b = List("a","b","c")
val bBC= sc.broadcast(b)
val data = sc.parallelize(a)
val transform = data map ( t => { "hi" })
transform.take(3) foreach (println _)
val transformx2 = data map ( t => { bBC.value.size })
transformx2.take(3) foreach (println _)
//val transform2 = data map ( t => { b.size })
//transform2.take(3) foreach (println _)
}

在局部模式下工作，但在纱线上失败。更准确地说，transform2和transformx2这两个方法都失败了，如果--master local[8]它们都工作。

/opt/mapr/spark/spark-1.2.1/bin/spark-submit --class JustSpark --master yarn target/scala-2.10/simulator_2.10-1.0.jar

Answer 1

我将进行一个很好的猜测：这是因为您使用的是应用程序。有关详细信息，请参见https://issues.apache.org/jira/browse/spark-4170。改为编写main()方法。