从Java应用程序连接到Spark Standalone时，为什么引发“无法在停止的SparkContext上调用方法”？

Question

我已经下载了为Hadoop 2.6及更高版本预构建的Apache Spark 1.4.1。我有两台Ubuntu
14.04机器。我已将其中一个设置为具有单个从属设备的Spark主设备，第二台机器正在运行一个Spark从属设备。当我执行./sbin/start- all.sh命令时，主机和从机成功启动。之后，我在Spark Web UI中显示的Spark主URL spark- shell设置中运行示例PI程序--master spark://192.168.0.105:7077。

到目前为止，一切都很好。

我创建了一个Java应用程序，并尝试将其配置为在需要时运行Spark作业。我在pom.xml文件中添加了spark依赖项。

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>1.4.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>1.4.1</version>
        </dependency>

我创建了一个SparkConfig：

private parkConf sparkConfig = new SparkConf(true)
            .setAppName("Spark Worker")
            .setMaster("spark://192.168.0.105:7077");

我SparkContext使用创建一个SparkConfig：

private SparkContext sparkContext = new SparkContext(sparkConfig);

在此步骤上引发以下错误：

java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
    at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:103)
    at org.apache.spark.SparkContext.getSchedulingMode(SparkContext.scala:1503)
    at org.apache.spark.SparkContext.postEnvironmentUpdate(SparkContext.scala:2007)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:543)
    at com.storakle.dataimport.spark.StorakleSparkConfig.getSparkContext(StorakleSparkConfig.java:37)
    at com.storakle.dataimport.reportprocessing.DidNotBuyProductReport.prepareReportData(DidNotBuyProductReport.java:25)
    at com.storakle.dataimport.messagebroker.RabbitMQMessageBroker$1.handleDelivery(RabbitMQMessageBroker.java:56)
    at com.rabbitmq.client.impl.ConsumerDispatcher$5.run(ConsumerDispatcher.java:144)
    at com.rabbitmq.client.impl.ConsumerWorkService$WorkPoolRunnable.run(ConsumerWorkService.java:99)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

如果我将Spark master更改为local一切正常。

private parkConf sparkConfig = new Shtml" target="_blank">parkConf(true)
                .setAppName("Spark Worker")
                .setMaster("local");

我在托管Spark Master的同一台计算机上运行Java应用程序。

我不知道为什么会这样？到目前为止，我发现的每个文档和示例都表明该代码应与Spark Master URL一起使用。

有什么想法为什么会发生以及如何解决？我花了很多时间试图弄清楚这一点，到目前为止还没有运气。

Answer 1

我认为您将Scala 2.10使用Spark 1.4.1。因此，你需要spark-core_2.10和spark- streaming_2.10替代2.11。spark-core_2.11与为Scala 2.10构建的Spark不兼容。

有关构建Spark for Scala 2.11的信息，请参见：

http://spark.apache.org/docs/latest/building-spark.html#building-for-
scala-211