当前位置: 首页 > 面试题库 >

如何添加第三方Java jar以便在pyspark中使用

葛骏
2023-03-14
问题内容

我有一些使用Java的第三方数据库客户端库。我想通过访问它们

java_gateway.py

例如:通过Java网关使客户端类(不是jdbc驱动程序!)可用于python客户端:

java_import(gateway.jvm, "org.mydatabase.MyDBClient")

目前尚不清楚将第三方库添加到jvm类路径的位置。我试图添加到compute-classpath.sh,但这似乎并没有奏效:我明白了

 Py4jError: Trying to call a package

另外,与Hive进行比较时:Hive jar文件不会通过compute-
classpath.sh加载,这使我感到怀疑。似乎在建立jvm端类路径的其他机制正在发生。


问题答案:

您可以将外部jar添加为pyspark的参数

pyspark --jars file1.jar,file2.jar


 类似资料:
  • 我想在我的android项目中添加第三方sdk。谁能告诉我一步一步的过程....我试过但不能...我的进程: 复制并粘贴libs文件夹中的jar文件 在build.gradle文件中添加依赖项 然后清除项目并生成

  • 问题内容: 我正在使用scrapy 1.1。我想添加中间件,该中间件将无缝且随机地轮换用户代理。用户代理字符串由模块提供。 按照网站的指示,我有: 但是,当我运行它时,我得到: 我究竟做错了什么? 编辑:我在virtualenv中打开了一个python shell: 因此,“ scrapy.downloadermiddlewares.useragent.UserAgentMiddleware”似乎

  • 问题内容: 如何将第三方库(jar文件)添加到Talend项目? 还有一个问题是,每个Talend 使用,但是在我的情况下 使用组件,如何利用现有的日志记录库摆脱此异常? 问题答案: 您可以使用component或导入外部jar 。 欲了解更多信息,请访问 http://vikramtakkar.blogspot.in/2013/03/importing-external-jar-or-libra

  • 我在android中添加了第三方字体。我把字体放在资产/字体/qqqq.ttf的根目录中 但它有这样一个错误:无法生成本机字体。 有什么问题?有人知道吗?非常感谢!

  • 我从其他团队收到了一个jar文件,需要在AEM中使用。我不能在AEM中直接使用jar,所以我在链接的帮助下将jar转换为捆绑包。”https://helpx.adobe.com/experience-manager/kb/ConvertAJarIntoOsgiBundle.html“,现在我的bundle已经准备好,并通过felix控制台上传到AEM中。bundle处于活动状态。现在我需要使用bu

  • 我想加载一些在maven存储库或其他类似存储库中不存在的jar文件。 为此,我在bitbucket上创建了一个名为“maven-repo”的存储库,并将其克隆到我的本地机器上。 但它给了我一个错误,未能加载一个jar。 如何在Project中包含jar文件和导入类???