用HDI Jupyter Spark（Scala）笔记本配置外部JAR

Question

我有一个外部自定义罐子，我想与Azure HDInsight Jupyter笔记本一起使用；HDI中的Jupyter笔记本使用Spark Magic和Livy。

在笔记本的第一个单元格中，我尝试使用jars配置：

%%configure -f
{"jars": ["wasb://$container$@$account#.blob.core.windows.net/folder/my-custom-jar.jar"]}

但我收到的错误消息是：

Starting Spark application
The code failed because of a fatal error:
    Status 'shutting_down' not supported by session..

Some things to try:
a) Make sure Spark has enough available resources for Jupyter to create a Spark context. For instructions on how to assign resources see http://go.microsoft.com/fwlink/?LinkId=717038
b) Contact your cluster administrator to make sure the Spark magics library is configured correctly.
Current session configs: {u'jars': [u'wasb://$container$@$account#.blob.core.windows.net/folder/my-custom-jar.jar'], u'kind': 'spark'}
An error was encountered:
Status 'shutting_down' not supported by session.

我想知道我是否只是不明白Livy在这种情况下是如何工作的，因为我能够成功地在同一个集群中包含一个spark-package（GraphFrames）：

%%configure -f
{ "conf": {"spark.jars.packages": "graphframes:graphframes:0.3.0-spark2.0-s_2.11" }}

null

Answer 1

哦，我想通了，忘了更新我的问题。如果您将jar放在HDI集群的默认存储帐户中，这可以起作用。

HTH！