创建上下文后将jar文件添加到pyspark
我正在使用笔记本中的pyspark，我不处理SparkSession的创建。我需要加载一个jar，其中包含一些在处理rdd时要使用的函数。这是一件你可以很容易地用罐子做的事，但我在我的特殊情况下做不到。有没有办法访问spark scala上下文并调用addJar方法？我尝试使用JavaGateway（sparksession.\u jvm…）但到目前为止还没有成功。有什么想法吗？
谢谢纪尧姆
共有3个答案
通过addJar分发xxx.jar并通过exClassPath导入
spark = SparkSession.builder.config('spark.driver.extraClassPath', 'xxx.jar').getOrCreate()
spark.sparkContext._jsc.addJar('/xxx/xxx/xxx.jar')
您可以尝试此方法，它将文件添加到所有节点的上下文中：
spark.sparkContext.addFile("filename")
火花会话。_jsc.add罐子做的工作。
-
问题内容： 我正在做一个Maven项目。当在一个想法中编译和运行我的项目时，一切都很好，但是每当我创建jar文件时，都无法将web / lib /中的外部jar文件复制到jar文件中。为什么会发生这种情况？我可以将所有文件插入jar文件吗？ 问题答案： 是的，我找到了解决方案。
-
问题内容： 我想将先前从其他文件（已经完成）中提取的一系列文件添加到jar中。这些文件将覆盖JAR中的文件。最有效的方法是什么？我需要它快。谢谢！ 问题答案： 请记住，JAR文件是ZIP文件。 只需使用一些ZIP库。
-
我必须创建一个jar文件。我是个初学者。我创建了一个清单文件forjar.txt, jar cfm v.jar forjar.txt gmain.class 它创建了一个jar文件。但是，当我运行它的时候，什么也没有发生。当我编译时，创建了将近25个类，因为我的文件中包含了许多类。那么，我应该在创建jar文件时也包括它吗？或者是否有任何简单的方法，包括特定文件夹的全部内容。我的文件夹也包含程序需要
-
问题内容： 我有自己的框架，可用于课堂任务（学校课堂，而不是Java课堂），并将其制作为文件，以便每当对框架进行更改时，都可以将其拖放到Android中工作室。在过去的5个左右的类任务中，一切工作正常，现在突然单击运行后解析我时出现错误。我在一个空白项目中对此进行了测试。该项目总共需要2 s：Gson和我自己的jar。在我自己拉动之后，它就打印出来了。。。。。。。。。。。。。。。。。。。。。。。。
-
问题内容： 我正在尝试将一些文件添加到ZIP文件中，它会创建文件，但不会在其中添加任何内容。代码1： 我的功能： 编辑： 我发现了问题，只是在将文件从C：\驱动器写入F：\驱动器的ZIP时遇到麻烦 问题答案： 您不能压缩文件夹，只能压缩文件。要压缩文件夹，必须手动添加所有子文件。我写了本课来完成这项工作。您可以免费获得它：) 用法是这样的： 这是课程： 请享用！ 编辑 ：要检查程序是否仍在忙，可以
-
问题内容： 我在上，我尝试了下都无济于事。还尝试将jar移到src目录，但是java文件仍然无法编译。尝试在脚本中简单地导入httpclient。 问题答案： 安装您的JDK并将 其放置 。难道 不是 .jar文件复制到你的JDK的文件夹！ 如果您还没有一个IDE，我建议您使用Eclipse或Netbeans这样的IDE。 我将建立一个新项目，创建或导入您的源，并为该项目设置一个类路径。 如果那行