当前位置: 首页 > 知识库问答 >
问题:

在Microsoft Azure中将conf文件添加到类路径

安奇
2023-03-14

这个问题与我的另一个问题类似,但这次是针对Microsoft Azure的。

我们有一个配置文件需要在驱动程序(可能还有执行程序)的类路径中。

在Microsoft Azure中定义数据库群集时,我配置了自定义Spark配置:spark.executor.extraClassPath和spark.driver.extraClassPath。我将两个路径指向dbfs中包含我们配置的目录。但正如一半人怀疑的那样,这不起作用。

问题是,这些Spark Configs支持哪种类型的路径?如果只是本地文件系统,如何在驱动程序(和执行程序)上获取配置文件?

共有1个答案

郑翰海
2023-03-14

请注意,该设置区分大小写,我认为应该将其设置为本地目录,并使用init脚本从dbfs(使用/dbfs/path语法)将其复制到本地目录,以便从JVM以低延迟访问它。

 类似资料:
  • 问题内容: 在开发Java项目时,我将所有jar文件都放在一个在项目内部创建的文件夹中,称为Now,是否可以将文件夹添加到Java类路径中,而不必添加每个jar文件? 我在考虑变量或创建用户库的思路。 问题答案: 根据您所说的,我可能会创建一个包含您的库JAR的用户库。 您可以使用Window => Preferences创建一个用户库,向下钻取到Java => Build Path => Use

  • 问题内容: 我在上,我尝试了下都无济于事。还尝试将jar移到src目录,但是java文件仍然无法编译。尝试在脚本中简单地导入httpclient。 问题答案: 安装您的JDK并将 其放置 。难道 不是 .jar文件复制到你的JDK的文件夹! 如果您还没有一个IDE,我建议您使用Eclipse或Netbeans这样的IDE。 我将建立一个新项目,创建或导入您的源,并为该项目设置一个类路径。 如果那行

  • 我正在使用 karaf 4.0.5 和 osgi 进行一个项目。我们有客户端代码来调用 REST API,这需要加载 3 个“*.属性”文件。我得到了一个客户端jar,我用它来调用服务器端类和方法(包含我无法更新的代码)。所需的属性文件存在于提供的客户端 jar 中,但其代码仍无法找到并加载它们。 在调试我的pax考试时,我发现它没有从jar加载资源文件的可能原因如下。 用于加载文件的代码似乎仅尝

  • 问题内容: 我正在使用“运行”->“运行”菜单从IntelliJ IDE运行一个简单的Java程序。它工作正常。现在,我想添加log4j日志记录。 我在项目根目录下添加了一个资源文件夹。我在该文件夹中添加了一个log4j.properties文件。我更改了代码以记录某些内容。 告诉IntelliJ在类路径中包含资源文件夹以便可以看到属性文件的正确方法是什么? 使用IntelliJ 8,我可以像喝醉

  • 问题内容: 我有一个名为的文件,我想从其他文件中使用该文件,因此我决定将其添加到另一个文件中并将其导入另一个文件中以使用该文件。为此,我在IPython中运行了以下内容。 我可以看到我刚刚添加的路径,当我尝试从另一个目录路径中导入该文件时,如下所示: 它工作正常,但是一旦我离开IPython,再次输入它,并检查了,我发现添加的路径不存在,那么如何在Python中永久地向sys.path添加路径?

  • 我正在使用maven构建工具。我的意图是将单独的绝对文件夹[例如:C:\test1.jar,C:\test2.jar]中可用的jar文件添加到类路径中。 我可以看到JAR被添加到war中可用的Manifest.mf文件的类路径中,但当war部署时,它由于“java.lang.ClassNotFoundException”[与test1.jar或test2.jar相关]而失败。 这是否意味着在man