我正在IntelliJ中尝试使用scala工作表运行spark测试。但是在sparksession
或sparkcontext
的实例化行,工作表抛出以下错误
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.1.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.holdenkarau/spark-testing-base_2.10 -->
<dependency>
<groupId>com.holdenkarau</groupId>
<artifactId>spark-testing-base_2.11</artifactId>
<version>2.1.0_0.6.0</version>
</dependency>
有人能帮我解决这个问题吗?
不知何故使用外部编译服务器for Scala
选项未选中,该选项位于Scala编译服务器
设置下。
我希望这对每个和我有同样问题的人都有帮助。
问题内容: 当我在终端上键入以启动REPL时,它将引发此错误 当我敲击并键入时,它再次抛出该错误 我正在使用并给 问题答案: 更新到新的Scala版本(2.10.3+)或将Java降级到Java 6/7。正如您在输出中所看到的,2.9.2在引入Java 8()之前就已经很久了,因此它们不能很好地协同工作。 这个重复的问题包含有关ubuntu的Java降级的确切说明。
嘿,我想在我的Java项目中使用spark: 我已经将此依赖项添加到pom文件中: 我不明白为什么会出现这个错误,因为通常JavaSparkContext就是为了这个用途而创建的: SparkContext的Java友好版本,它返回JavaDDS,并使用Java集合而不是Scala集合。 我已经看了一下Spark-Core2.11依赖项的pom,似乎我们可以找到一个scala依赖项:
我有Intellij-IDEA 13.1.2。[已编辑,以前是13.0.2]我使用scala-plugin。我正在尝试使用工作表来评估代码。 但我得到的只有两个错误: 更新:现在它在Intellij13.1.5、Scala Plugin0.41.2和Scala-2.10和2.11下都能正常工作
我正在使用 Scala 2.10.4 我在eclipse的“问题”选项卡中有以下错误 说明加载RDDOperationScope时资源路径位置类型错误,缺少依赖项的错误符号引用。RDDOperationScope中的签名。类是指包com中的术语注释。fasterxml。杰克逊,这是不可用的。当前类路径中可能完全缺少它,或者类路径上的版本可能与编译RDDOperationScope时使用的版本不兼容
我有一个奇怪的错误,我正在尝试写数据到hive,它在spark-shell中运行良好,但是当我使用spark-submit时,它抛出的数据库/表在默认错误中找不到。 下面是我试图在spark-submit中编写的代码,我使用的是Spark2.0.0的自定义构建 16/05/20 09:05:18 INFO sparksqlParser:解析命令:spark_schema.measures_2016
下面是一个示例火花代码,它将转换为: Scala没有方法,它来自Spark Implicits。这里的数据集是如何创建的? 编辑:我确实看过其他SO答案,但没有看到一个示例,说明如何在中使用隐式。我在评论中参考了示例答案。