Eclipse：maven：error：找不到：type SparkConf

Question

我试图在Eclipse中执行一个Spark/Scala代码片段（如下所示）。我已经为它创建了一个Maven项目，但是当我尝试运行代码时，我得到了以下错误：

not found: type SparkConf

我的代码是：

package extraction

import org.apache.spark._
import org.apache.spark.SparkConf

object JsonParser {

    val conf = new SparkConf().setAppName("Spark json extract")
    conf.setMaster("local");
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    def main(args: Array[String]): Unit = {
        val df = sqlContext.read.json("F:\\test1.json")
        df.registerTempTable("jsonExtract")
        val data = sqlContext.sql("select * from jsonExtract")
        data.show();
        sc.stop
    }

}

pom.xml

    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
      <modelVersion>4.0.0</modelVersion>
      <groupId>JSON</groupId>
      <artifactId>JSON</artifactId>
      <version>0.0.1-SNAPSHOT</version>
<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>
      <build>
        <sourceDirectory>src</sourceDirectory>
        <resources>
          <resource>
            <directory>src</directory>
            <excludes>
              <exclude>**/*.java</exclude>
            </excludes>
          </resource>
        </resources>
        <plugins>
          <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.7.0</version>
            <configuration>
              <source>1.8</source>
              <target>1.8</target>
            </configuration> 
          </plugin>
        </plugins>
      </build>
    </project>

我如何修复这个错误？难道不能在Eclipse中构建这个项目吗？

Answer 1

我认为您的 标记丢失了。参见Maven POM

编辑：

这也可能是存储库的问题。检查您的回购中是否有正确的库：

• Maven存储库模式-Maven中央存储库
• 本地回购。Maven检查central Repo，但它使用本地库进行编译。