当前位置: 首页 > 知识库问答 >
问题:

从HDInsight集群头节点运行火花应用程序

郏实
2023-03-14

我正在尝试使用命令从 azure HDInsight 群集的头节点运行火花 scala 应用程序

类com.test.spark.WordCountSparkJob1.jarwasbs

我正在接受它的异常。

导致原因:java.lang.ClassCastExc的:不能分配scala.collection.immutable.列表的实例$序列化代理字段org.apache.spark.rdd.RDD.org$apache$火花$rdd$RDD$$dependencies_的类型scala.collection.Seq在org.apache.spark.rdd.的实例

如果我从 Azure 数据工厂调用,则相同的 jar 文件正在工作。我是否缺少一些带有 Spark 提交命令的配置?

共有1个答案

齐典
2023-03-14

通常,这是由你的代码逻辑引起的类型转换。有一个类似的SO线程如何修复java.lang.ClassCastExc的:不能将scala.collection.immutable.列表的实例分配给字段类型scala.collection.Seq?已经回答过了,我想你可以参考它并检查你的代码来解决这个问题。

 类似资料: