当前位置: 首页 > 知识库问答 >
问题:

Spark 2.2.0的兼容Scala版本?

洪子晋
2023-03-14

哪个Scala版本适用于Spark 2.2。0 ? 我发现以下错误:

异常线程"main"java.lang.NoSuchMultiodError: scala。Predef$. refArrayOps([Ljava/lang/Object;)Lscala/集合/可变/ArrayOps;

共有3个答案

艾成益
2023-03-14

要为spark应用程序选择合适的scala版本,可以在目标服务器上运行spark shell。欢迎信息中包含所需的scala版本:

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0.2.6.3.0-235
      /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152)

它是2.11。8在我的Spark distributive中。

也有网页上MVN存储库包含scala版本的火花分布:

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12

公冶森
2023-03-14

默认情况下,Spark 2.2.0是为了与Scala 2.11一起工作而构建和分发的。要在Scala中编写应用程序,您需要使用兼容的Scala版本(例如Scala)。2.11。X)。你的scala版本可能是2.12。这就是为什么它抛出异常。

贺亦
2023-03-14

从这里的文档:

Spark在Java8、Python2.7/3.4和R3.1上运行。对于Scala API,请参阅Spark 2.2。0使用Scala 2.11。您需要使用兼容的Scala版本(2.11.x)。

 类似资料:
  • 我正在构建我的第一个spark应用程序。 http://spark.apache.org/downloads.html告诉我火花2。x是根据Scala 2.11构建的。 在Scala网站上https://www.scala-lang.org/download/all.html我看到的版本是2.11.0-2.11.11 所以我的问题是:火花网站上的2.11到底是什么意思。它是2.11.0 - 2.1

  • 这本书讲述的是 Swift 5.1,它是 Xcode 11 中包含的默认版本。你可以使用 Xcode 11 来编译用 Swift 5.1、Swift 4.2 或 Swift 4 写的代码。 当你使用 Xcode 11 编译 Swift 4 和 Swift 4.2 代码时,大部分 Swift 5.1 的功能是可用的。也就是说,下面的变更仅对 Swift 5.1 或后续版本生效: 返回不透明类型的函数

  • 支持的版本 主版本 PHP兼容性 初始发行 支持 PHPUnit 9 PHP 7.3, PHP 7.4 2020年2月7日 支持将于2022年2月4日结束 PHPUnit 8 PHP 7.2, PHP 7.3, PHP 7.4 2019年2月1日 支持将于2021年2月5日结束 之前的版本 主版本 PHP兼容性 初始发行 支持 PHPUnit 7 PHP 7.1, PHP 7.2, PHP 7.3

  • 我在pom上使用下面的代码。xml,但由于出现错误,我无法启动应用程序。我不想降级spring boot starter父版本。有什么解决办法吗? 我得到了贝沃的错误 组织。springframework。豆。工厂BeanCreationException:创建名为“configurationPropertiesBeans”的bean时出错,该bean在类路径资源[org/springframew

  • 我正在使用生成cacerts。 然后我使用,但我会遇到这样的例外: 这是兼容性问题吗?使用一个版本的java生成的Cacert是否与另一个版本的java不兼容?

  • 我目前安装了Java8(更新171)和Oxygen.3a(4.7.3a)(Eclipse版本)。我以前下载过Java10,但我读到有一个bug,WindowBuilder不能在该版本上工作,它被推荐为版本8,这是我下载并安装的版本(在卸载版本10后)。但问题还在。 我能做些什么来解决这个问题?谢谢你。