在Intellij中运行Spark时出错：“对象apache不是包org的成员”

Question

我正在Intellij上运行一个Spark程序，并得到以下错误：“object apache不是包org的成员”。

我在代码中使用了这些导入语句：

import org.apache.spark.SparkContext  
import org.apache.spark.SparkContext._  
import org.apache.spark.SparkConf

上面的导入语句也没有在sbt提示符上运行。相应的库似乎丢失了，但我不确定如何复制相同的库以及在哪个路径上。

Answer 1

距离上一个答案大约有5年了，但我有同样的问题，这里提到的答案不起作用。所以，希望这个答案适用于那些发现自己处于与我相同位置的人。

我能够从sbt shell运行scala程序，但在Intellij中无法运行。这是我为解决问题所做的：

1. 已导入生成。sbt文件作为项目

文件-

文件-

单击“查看”-

项目应成功加载。重建项目。

Answer 2

确保您在SBT中有这样的条目：

scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.1.0", 
  "org.apache.spark" %% "spark-sql" % "2.1.0" 
)

然后通过启用“自动导入”或单击SBT面板上的刷新按钮手动执行，确保IntelliJ知道这些库。