当前位置: 首页 > 知识库问答 >
问题:

使用Scala2.12和Spark2.x

夏雅志
2023-03-14

在Spark2.1文档中提到

如何解释这些(冲突?)一些信息?

共有1个答案

慎峻
2023-03-14

Spark不支持Scala2.12。您可以按照SPARK-14220(根据Scala2.12构建并测试Spark)来获得最新状态。

更新:Spark2.4增加了一个实验性的Scala2.12支持。

 类似资料:
  • 我们正试图用普罗米修斯来获取火花指标。我们使用jmx导出器jmx_prometheus_javaagent-0.12.0.jar。 ./spark-submit--监督--部署模式集群--conf'spark.driver.extrajavaoptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0.jar=8060:/conf/spark.ym

  • 当我运行pyspark program interactive shell时,可以获取pyspark脚本中的配置文件(config.ini),但当我试图使用Spark submit命令和主纱运行相同的脚本时,并且集群部署模式是集群,因为配置文件不存在,所以它给了我错误,我检查了纱日志,可以看到相同的,下面是运行pyspark作业的命令。

  • 我有一个关于Kafka流上的Spark结构化流的问题。 我有一个模式类型: 我从Kafka主题引导我的流,如下所示: 接下来转换为字符串,字符串类型: 现在我想将value字段(这是一个JSON)转换为之前转换的模式,这将使SQL查询更容易: 看来Spark 2.3.1不知道函数? 这是我的进口: 有没有办法解决这个问题?请注意,我不是在寻找Scala解决方案,而是一个纯粹的基于Java的解决方案

  • 我的理解是AbstractExcelView类函数buildExcelDocument不支持XSSFWorkbook(https://jira.spring.io/browse/spr-6898)。 我试图通过如下实现buildExcelDocument函数来解决这个问题: 使用HSSFWorkbook时,上述所有代码都可以工作。工作簿的数据已正确创建,可以下载,并将使用Microsoft Exc

  • 此函数转换Hbase格式的数据 这是我在第125行得到的错误:hbaseputs.saveasnewapiHadoopDataSet(job.getconfiguration)

  • 我正在学习Spring Boot,并试图实现身份验证。我有一个注册页面,它使用POST方法发送新用户数据以存储在内存数据库中。奇怪的是,当我提交表单时,GET方法是唯一被调用的方法。这是我的超文本标记语言文件: 如您所见,表单上有< code>method="POST"属性。 这是我的注册控制器: 我已经将放在@GetMap()方法中,即使我点击注册表单上的提交按钮,也可以在我的服务器上看到该方法