Scala/Spark版本兼容性

Question

我正在构建我的第一个spark应用程序。

http://spark.apache.org/downloads.html告诉我火花2。x是根据Scala 2.11构建的。

在Scala网站上https://www.scala-lang.org/download/all.html我看到的版本是2.11.0-2.11.11

所以我的问题是：火花网站上的2.11到底是什么意思。它是2.11.0 - 2.11.11范围内的任何Scala版本吗？

另一个问题：我可以使用最新的Scala 2.12.2构建Spark应用程序吗？我假设Scala是向后兼容的，所以使用Scala构建的Spark库是2.11。x可以在Scala 2.12.1应用程序中使用/调用。我说得对吗？

Answer 1

我使用了这些版本的Scala和Spark，它可以满足我的需要：

scalaVersion := "2.12.8"
libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.4.0"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.0"

一些库需要2.11版本的Scala，在这种情况下，应该使用@the775提到的版本。

Answer 2

对于任何想要启动跳转的人来说，这是我使用的版本控制对。

scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.2",
  "org.apache.spark" %% "spark-sql" % "2.3.2"
)

Answer 3

正如您所设想的，Scala不向后兼容。您必须将scala 2.11与spark一起使用，除非您在scala 2.12下重建spark（如果您想使用最新的scala版本，这是一个选项，但需要更多的工作才能使一切正常工作）。

在考虑兼容性时，需要考虑源兼容性和二进制兼容性。Scala确实倾向于源代码向后兼容，因此您可以在较新版本下重建jar，但它不是二进制向后兼容的，因此您不能使用旧版本构建的jar以及新版本的代码。

这只是主要版本，所以scala2.10, 2.11, 2.12等都是主要版本，并且不兼容二进制（即使它们兼容源）。在一个主要版本中，虽然保持兼容性，所以Scala 2.11与所有版本都兼容2.11.0 - 2.11.11（加上任何未来的2.11版本也将兼容）

正是由于这个原因，您将看到大多数Scala库对于每个主要的Scala版本都有单独的版本。您必须确保您使用的任何库都为您正在使用的版本提供了一个jar，并且您使用该jar而不是其他版本的jar。如果您使用SBT%%将为您选择正确的版本，但对于maven，您需要确保使用正确的工件名称。这些版本通常以_2.10、_2.11和_2.12作为前缀，表示构建jar的scala版本。