如何在Apache Spark中使用类型安全配置？

Question

我有一个Spark应用程序，我正试图将其打包为fat jar并使用spark-submit部署到本地集群。我正在使用Typesafe config为各种部署环境-local.conf、staging.conf和production.conf创建配置文件，并尝试提交我的JAR。

我正在运行的命令如下：

/opt/spark-3.0.1-bin-hadoop2.7/bin/spark-submit \
--master spark://127.0.0.1:7077 \
--files ../files/local.conf \
--driver-java-options '-Dconfig.file=local.conf' \
target/scala-2.12/spark-starter-2.jar  

我通过一个接一个地添加选项，以增量方式构建了该命令。使用--files，日志提示文件正在上载到Spark，但当我添加--driver-java-options时，提交失败，找不到文件。

Caused by: java.io.FileNotFoundException: local.conf (No such file or directory)
        at java.base/java.io.FileInputStream.open0(Native Method)
        at java.base/java.io.FileInputStream.open(FileInputStream.java:219)
        at java.base/java.io.FileInputStream.<init>(FileInputStream.java:157)
        at com.typesafe.config.impl.Parseable$ParseableFile.reader(Parseable.java:629)
        at com.typesafe.config.impl.Parseable.reader(Parseable.java:99)
        at com.typesafe.config.impl.Parseable.rawParseValue(Parseable.java:233)
        at com.typesafe.config.impl.Parseable.parseValue(Parseable.java:180)
        ... 35 more

代码：

import com.example.spark.settings.Settings
import com.typesafe.config.ConfigFactory
import org.apache.spark.sql.SparkSession

object App extends App {
  val config = ConfigFactory.load()
  val settings = Settings(config = config)

  val spark = SparkSession
    .builder()
    .getOrCreate()

  spark.stop()
}

Answer 1

根据Spark文档，--files被放置在每个执行器的工作目录中。同时尝试从驱动程序（而不是执行程序）访问此文件。

为了在驱动程序端加载配置,请尝试以下操作：

/opt/spark-3.0.1-bin-hadoop2.7/bin/spark-submit \
--master spark://127.0.0.1:7077 \
--driver-java-options '-Dconfig.file=../files/local.conf' \
target/scala-2.12/spark-starter-2.jar  

如果您希望在执行器端加载配置，则需要使用spark.executor.ExtraJavaOptions属性。在这种情况下，您需要加载运行在executor上的lambda内部的配置，例如RDD API：

myRdd.map { row => 
  val config = ConfigFactory.load()
  ...
}

EMR的具体特点是很难访问驱动程序的文件系统。因此最好将配置存储在外部存储中，通常是S3。

Typesafe配置库不能直接从S3加载文件，因此可以将配置的路径作为app参数传递，而不是作为-dProperty，使用amazons3client从S3读取，然后使用configFactory.parseString()作为配置加载。请参阅此答案作为示例。