尝试spark submit时FileNotFound异常

Question

我有一个spark jar，我正试图将其提交给我的本地spark实例。jar是这样的包：按照maven结构，所有配置文件都存在于/resources文件夹中。

以下是例外情况：

java.io.FileNotFoundException: file:/Users/prime/Desktop/TibcoMsgConsumer-1.0-SNAPSHOT.jar!/config.properties (No such file or directory)
    at java.io.FileInputStream.open0(Native Method)
    at java.io.FileInputStream.open(FileInputStream.java:195)
    at java.io.FileInputStream.<init>(FileInputStream.java:138)

在上述异常中，可以观察到的一件事是<代码> 在jar末尾标记：TibcoMsgConsumer-1.0-SNAPSHOT。罐子/

如果我从这个jar中删除与spark相关的部分（Java spark上下文），并使其成为一个普通的Java jar，那么我不会面临任何问题。这里可能有什么问题？

我反编译了该类，下面是我加载文件的方式：

ClassLoader classLoader = getClass().getClassLoader();
  File file = new File(this.classLoader.getResource("config.properties").getFile());
  private Properties properties = this.propLoader.initProp(this.file);

下面是我如何运行这个作业：/spark-提交--confspark.shuffle.consolidate文件=true-详细-类"ril.bigdata.com.主要"-掌握本地[*]~/桌面/TibcoMsg消费者-1.0-SNAPSHOT. jar

我错过了什么？




Answer 1

匿名用户

无论后面发生什么 在jar中。它没有查找配置。属性在资源中，它正在JAR的根目录中搜索。

File file = new File(this.classLoader.getResource("resources/config.properties").getFile());

这应该会让它起作用。

还有，用于getResource的JavaDoc