无法覆盖spark中commmandline上的Typesafe配置

Question

在默认情况下加载的src/main/resources文件夹中有一个类型安全配置application.conf。

可以通过指定以下内容重写单个值：

--conf spark.driver.extraJavaOptions=-DsomeValue="foo"

spark-submit \
    --class my.Class \
    --master "local[2]" \
    --files foo.conf \
    --conf spark.driver.extraClassPath="-Dconfig.file=file:foo.conf" \
    --conf spark.driver.extraJavaOptions=-Dvalue="abcd" \
    job.jar

将无法加载foo.conf。相反，将加载resources文件夹中的原始文件。尝试以下技巧：在纱线上使用typesafe config和Spark也没有帮助。

当使用uberjar部署时，重写类型安全配置中的多个配置值似乎是普通（没有spark）程序的解决方案。问题仍然是如何使这一点产生火花。

同样通过的是：

--conf spark.driver.extraClassPath="-Dconfig.resource=file:foo.conf"
--conf spark.driver.extraClassPath="-Dconfig.resource=foo.conf"

https://github.com/lightbend/config用于使用application.{conf,json,properties}的应用程序，系统属性可用于强制使用不同的配置源（例如，来自命令行-dconfig.file=path/to/config-file）：

• config.resource指定资源名称--而不是基本名称，即application.conf而不是application
• config.file指定文件系统路径，它同样应该包括扩展名，而不是baseName
• config.url指定URL

这些系统属性指定application.{conf,json,properties}的替换，而不是添加。它们只影响使用默认configFactory.load（）配置的应用程序。在替换配置文件中，可以使用include“application”包含原始默认配置文件；在include语句之后，您可以继续重写某些设置。

使用这些参数应该是可能的。

Answer 1

spark-submit \
    --class my.Class \
    --master "local[2]" \
    --files foo.conf \
    --conf spark.driver.extraJavaOptions="-Dvalue='abcd' -Dconfig.file=foo.conf" \
    target/scala-2.11/jar-0.1-SNAPSHOT.jar

从spark.driver.extraclasspath更改为spark.driver.extracjavaoptions就能起到作用