Spark-submit执行器没有获得属性

Question

我试图将Spark应用程序部署到4节点DSE Spark集群中，我已经创建了一个包含所有依赖jar的fat jar，并在src/main/resources下创建了一个属性文件，该文件具有批处理间隔、主URL等属性。

dse spark-submit --class com.Processor.utils.jobLauncher --supervise application-1.0.0-develop-SNAPSHOT.jar qa

我使用的是DSE 4.8.5和Spark 1.4.2

这就是我加载属性的方式

 System.setProperty("env",args(0)) 

 val conf = com.typesafe.config.ConfigFactory.load(System.getProperty("env") + "_application")

Answer 1

想出了解决办法：

我从system property中引用属性文件名（我使用命令行参数将其设置为main方法），当代码在worker节点上传送和执行时，system属性不可用（显然..！！）因此，我使用简单的Scala文件读取，而不是使用typesafe ConfigFactory来加载属性文件。