如何加载Java属性文件并在Spark中使用？
我想将Spark参数（例如输入文件，输出文件）存储到Java属性文件中，然后将该文件传递到Spark Driver中。我正在使用spark-
submit提交作业，但是找不到参数来传递属性文件。你有什么建议吗？
问题答案：
在这里，我找到了一种解决方案：
props文件 ：（mypropsfile.conf）// 注意：密钥的前缀为“ spark”。 否则道具将被忽略。
spark.myapp.input /input/path
spark.myapp.output /output/path
发射
$SPARK_HOME/bin/spark-submit --properties-file mypropsfile.conf
如何调用代码 ：（内部代码）
sc.getConf.get("spark.driver.host") // localhost
sc.getConf.get("spark.myapp.input") // /input/path
sc.getConf.get("spark.myapp.output") // /output/path
-
如何加载放置在可执行jar文件的资源文件夹中的属性文件。在这里，我的应用程序本身就是一个jar，它自己执行。它需要在运行时根据代码中提到的路径找到这个属性文件（放在资源文件夹下）。我用过以下两种方法，但都没用。这里的重点是，当我在eclipse中执行时，这两个选项都可以正常工作，但当我将其打包到可执行jar中时，这两个选项都不起作用。它抛出NullPointerException。我在这里看到的唯
-
问题内容： 我在程序中需要一个配置文件来存储一些信息，我看到了一些属性文件的示例，并试图使用它们，但是每当在NetBeans上尝试第二行时，我都会得到“ Package sortConfig不存在”，“ >预期”和“类型非法开始”。 问题是我已经看到大约10个示例都以相同的方式执行此操作，而我不知道发生了什么。 任何帮助，将不胜感激 我的.java类和我的属性文件位于src的同一包文件夹中 问题答
-
问题内容： 因此，我正在尝试向项目添加一些功能，以允许在部署工件中使用用户定义的属性-一个简单的key：value .properties文件。我将service.properties文件放在 在ServiceImpl.java构造函数中，我具有以下内容： 属性URL的所有实例均为空。我知道我确实缺少某些明显的东西，但是我需要第二双眼睛。问候。 编辑： 嗯，似乎我很困惑，因为默认的GAE项目在/
-
我一直在尝试使用Spark中的加载本地文件。 我已经读过[问题]:如何在sc.textfile中加载本地文件，而不是HDFS Centos 7.0上中有本地文件 使用时，出现如下错误。 16/12/27 12:15:56警告TaskSetManager：stage 5.0中丢失任务0.0（TID 36，)：java.io.FileNotFoundException：File File：/home/
-
问题内容： 我需要读取埋在我的包结构中的属性文件。 我已经尝试了一切，但无法解决。 最后，我的代码将在servlet容器中运行，但是我不想依赖任何容器。我写了JUnit测试用例，它需要在两个方面都能工作。 问题答案： 从包中的类加载属性时，可以使用 （添加所有必要的异常处理）。 如果你的类不在该程序包中，则需要稍微不同地获取InputStream： 相对路径（那些没有前导“/”）中该资源将相对于它
-
当我在spack-2.2.0中加载xml文件时，如下所示： 它向我展示了一个错误： JAVAlang.ClassNotFoundException:未能找到数据源：xml。请在http://spark.apache.org/third-party-projects.html在org。阿帕奇。火花sql。处决数据源。数据源$。org上的lookUpdateSource（DataSource.scal