使用Livy提交Spark作业时出错：用户未初始化火花上下文

Question

我对Spark非常陌生，我正在遵循此文档通过Livy提交Spark jobshttps://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-livy-rest-interface

这是我的命令：

curl -k --user "username:password!" -v -H "Content-Type: application/json" -X POST -d '{ "file":"/test4spark/test4sparkhaha.jar", "className":"helloworld4spark.test" }' "https://xxx.azurehdinsight.net/livy/batches" -H "X-Requested-By: username"

文件test4sparkhaha.jar是一个超级简单的Java应用程序，它只包含一个类，只有一个打印“哈哈哈”的主方法，没有别的...我将Eclipse中的项目导出到Runnable Jar，并尝试使用Java-jar和Spark提交在我的火花集群上运行它。两者都很好。然后我开始尝试通过Livy提交作业，但总是失败，我在Yarn日志中发现了以下错误：

2006年11月19日14:36:06错误ApplicationMaster：未捕获异常：java。lang.IllegalStateException：用户未初始化spark上下文！位于组织。阿帕奇。火花部署纱线应用程序管理员。org上的runDriver（ApplicationMaster.scala:510）。阿帕奇。火花部署纱线应用程序管理员。org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl（ApplicationMaster.scala:345）位于org。阿帕奇。火花部署纱线ApplicationMaster$$anonfun$运行$2。在org上应用$mcV$sp（ApplicationMaster.scala:260）。阿帕奇。火花部署纱线ApplicationMaster$$anonfun$运行$2。在org上应用（ApplicationMaster.scala:260）。阿帕奇。火花部署纱线ApplicationMaster$$anonfun$运行$2。在org上应用（ApplicationMaster.scala:260）。阿帕奇。火花部署纱线ApplicationMaster$$不超过5美元。在java上运行（ApplicationMaster.scala:815）。安全AccessController。javax上的doPrivileged（本机方法）。安全授权。主题doAs（Subject.java:422）位于org。阿帕奇。hadoop。安全用户组信息。doAs（UserGroupInformation.java:1869）位于org。阿帕奇。火花部署纱线应用程序管理员。doAsUser（ApplicationMaster.scala:814）位于org。阿帕奇。火花部署纱线应用程序管理员。在org上运行（ApplicationMaster.scala:259）。阿帕奇。火花部署纱线ApplicationMaster美元。main（ApplicationMaster.scala:839）位于org。阿帕奇。火花部署纱线应用程序管理员。main（ApplicationMaster.scala）

这是我尝试的Spark提交命令：

spark-submit --class helloworld4spark.test test4sparkhaha.jar

它工作完美...

你们能帮我理解为什么Spark submit工作正常时会出现错误吗？

Answer 1

我猜您正在尝试使用Livy提交本地. jar文件。对于Spark-提交它可以工作（向Yarn提交作业支持它），但对于Livy服务器则不支持。

要使其正常工作，您需要将jar上传到hdfs/wasb/adls/http可访问的位置（确保您的Spark已配置为访问该位置）。

请参阅本指南的第一段。