在纱线上使用带有Spark的typesafe配置

Question

我有一个从配置文件读取数据的Spark作业。此文件是一个类型安全配置文件。

ConfigFactory.load().getConfig("com.mycompany")

我要使用的外部application.conf的内容如下所示：

com.mycompany {
  //configurations my program needs
}

此application.conf文件存在于我的本地计算机文件系统中（而不是HDFS上）

我用的是Spark1.6.1和纱线

LOG4J_FULL_PATH=/log4j-path
ROOT_DIR=/application.conf-path

    /opt/deploy/spark/bin/spark-submit \
    --class com.mycompany.Main \
    --master yarn \
    --deploy-mode cluster \
    --files $ROOT_DIR/application.conf \
    --files $LOG4J_FULL_PATH/log4j.xml \
    --conf spark.executor.extraClassPath="-Dconfig.file=file:application.conf" \
    --driver-class-path $ROOT_DIR/application.conf \
    --verbose \
    /opt/deploy/lal-ml.jar

2016-11-09 12:32:14 ERROR ApplicationMaster:95 - User class threw exception: com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'com'
com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'com'
    at com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124)
    at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:147)
    at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:159)
    at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:164)
    at com.typesafe.config.impl.SimpleConfig.getObject(SimpleConfig.java:218)
    at com.typesafe.config.impl.SimpleConfig.getConfig(SimpleConfig.java:224)
    at com.typesafe.config.impl.SimpleConfig.getConfig(SimpleConfig.java:33)
    at com.mycompany.Main$.main(Main.scala:36)
    at com.mycompany.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542)

提前致谢

Answer 1

因此，通过对Spark1.6.1源代码的一些挖掘，我找到了解决方案。

在使用集群模式提交到yarn时,为了获得应用程序正在使用的log4j和application.conf,您需要采取以下步骤：

• 在传递多个文件时，就像我同时传递application.conf和log4j.xml文件一样，您只需要使用如下一行来提交它们:--files“$root_dir/application.conf,$log4j_full_path/log4j.xml”（用逗号分隔）
• 这就是application.conf的内容。application.conf不需要extraJavaOpts（正如我的问题中所写的）。问题是Spark只使用了传递的最后一个--files参数，这就是为什么要传递log4j。为了使用log4j.xml，我还必须采取以下步骤
• 向spark submit添加另一行，如下所示:--conf spark.driver.extrajavaoptions=“-dlog4j.configuration=file:log4j.xml”-注意，当您使用--files传递它时，您只需引用文件名，而不需要任何路径

注意：我还没有尝试过它，但从我所看到的情况来看，如果您试图在客户端模式下运行它，我认为spark.driver.extrajavaoptions行应该重命名为类似于driver-java-options这样的东西。这么简单，我希望这些事情能更好地记录下来。我希望这个答案能帮助某人

干杯