将多个类型安全配置文件传递给纱线群集模式应用程序

Question

我正在尝试在我的Spark应用程序中使用多个（通过include）类型安全配置文件，我正在集群模式下提交给一个YARN队列。我基本上有两个配置文件，下面提供了文件布局：

null

上面的两个文件都是我的application.jar的外部文件，所以我使用“--files”（可以在下面看到）将它们传递给yarn

我正在使用Typesafe配置库来解析我的“application-main.conf”，在这个主配置中，我试图通过替换使用env.properties文件中的一个属性，但是变量名没有得到解析：（我不知道为什么。

txn.hdfs.fs.home=hdfs://dev/1234/data

# application-txn.conf
include required(file("env.properties"))

app {
  raw-data-location = "${txn.hdfs.fs.home}/input/txn-raw"
}

//propFile in the below block maps to "application-txn.conf" from the app's main method

def main {
  val config = loadConfig("application-txn.conf")
  val spark = SparkSession.builkder.getOrCreate()

  //Code fails here:
  val inputDF = spark.read.parquet(config.getString("app.raw-data-location"))
}

def loadConf(propFile:String): Config = {
   ConfigFactory.load()
   val cnf = ConfigFactory.parseResources(propFile)
   cnf.resolve()
}

spark-submit --class com.nic.cage.app.Transaction \
--master yarn \
--queue QUEUE_1 \
--deploy-mode cluster \
--name MyTestApp \
--files application-txn.conf,env.properties \
--jars #Typesafe config 1.3.3 and my app.jar go here \
--executor-memory 2g \
--executor-cores 2 \
app.jar application-txn.conf 

当我运行上述操作时，我能够解析配置文件，但我的应用程序在尝试从HDFS读取文件时失败，因为它找不到名称为${txn.HDFS.fs.home}/input/Txn-raw的目录

我相信配置实际上能够读取两个文件...否则它会因为“required”关键字而失败。我通过添加另一个带有虚拟文件名的include语句来验证这一点，应用程序在解析配置时失败。我真的不知道现在发生了什么事：（。

你知道是什么导致了这个决议的失败吗？如果有帮助的话：当我在本地运行多个配置文件时，解析效果很好

Answer 1

application-txn.conf中的语法错误。

变量应该在字符串之外，如下所示：

raw-data-location = ${txn.hdfs.fs.home}"/input/txn-raw"