从HDInsight集群头节点运行火花应用程序
我正在尝试使用命令从 azure HDInsight 群集的头节点运行火花 scala 应用程序
类com.test.spark.WordCountSparkJob1.jarwasbs
我正在接受它的异常。
导致原因：java.lang.ClassCastExc的：不能分配scala.collection.immutable.列表的实例$序列化代理字段org.apache.spark.rdd.RDD.org$apache$火花$rdd$RDD$$dependencies_的类型scala.collection.Seq在org.apache.spark.rdd.的实例
如果我从 Azure 数据工厂调用，则相同的 jar 文件正在工作。我是否缺少一些带有 Spark 提交命令的配置？
共有1个答案
通常，这是由你的代码逻辑引起的类型转换。有一个类似的SO线程如何修复java.lang.ClassCastExc的：不能将scala.collection.immutable.列表的实例分配给字段类型scala.collection.Seq？已经回答过了，我想你可以参考它并检查你的代码来解决这个问题。
-
假设我们有一个在集群模式下运行的spark作业，其中集群管理器是Yarn。 null
-
当我使用spark-submit with master yarn和deploy-mode cluster提交spark作业时，它不会打印/返回任何applicationId，一旦作业完成，我必须手动检查MapReduce jobHistory或spark HistoryServer来获取作业细节。 我的集群被许多用户使用，在jobHistory/HistoryServer中找到我的作业需要很多时
-
jps输出正确： 在主机上： 在5个从节点上：
-
本文档介绍用 3 台服务器构建 Seafile 高可用集群的架构。这里介绍的架构仅能实现“服务高可用”，而不能支持通过扩展更多的节点来提升服务性能。如果您需要“可扩展 + 高可用”的方案，请参考Seafile 可扩展集群文档。 在这种高可用架构中包含3个主要的系统部件： Seafile 服务器：提供 Seafile 服务的软件 MariaDB 数据库集群：保存小部分的 Seafile 元数据，比如
-
并编写下面的查询，它是只在我的master上运行，还是将所有10个节点都用作worker？ 如果不是，我必须做什么才能让我的Spark Sql使用完整的集群？