使用--files或Spark.files将配置文件从驱动程序复制到执行程序时，火花kubernetes-fileNotFoundException

Question

我们正在将Spark工作负载从Cloudera迁移到Kubernetes。

出于演示目的，我们希望在集群模式下使用spark-submit在minikube集群中运行一个spark作业。

我想使用spark.file conf将一个类型安全配置文件传递给我的执行程序（我也尝试了--files）。配置文件已在生成时复制到/opt/spark/conf目录下的spark docker映像中。

然而，当我提交作业时，我有一个java.io.FileNotFoundException：File File：/opt/spark/conf/application.conf不存在。

我的理解是spark.files将文件从驱动程序复制到执行程序的工作目录。

这是我的spark-submit命令

spark-submit \
        --master k8s://https://192.168.49.2:8443 \
        --driver-memory ${SPARK_DRIVER_MEMORY} --executor-memory ${SPARK_EXECUTOR_MEMORY} \
        --deploy-mode cluster \
        --class "${MAIN_CLASS}" \
        --conf spark.driver.defaultJavaOptions="-Dconfig.file=local://${POD_CONFIG_DIR}/application.conf $JAVA_ARGS" \
        --conf spark.files="file:///${POD_CONFIG_DIR}/application.conf,file:///${POD_CONFIG_DIR}/tlereg.properties" \
        --conf spark.executor.defaultJavaOptions="-Dconfig.file=local://./application.conf" \
        --conf spark.executor.instances=5 \
        --conf spark.kubernetes.container.image=$SPARK_CONTAINER_IMAGE \
        --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
        --conf spark.kryoserializer.buffer.max=512M \
        --conf spark.driver.maxResultSize=8192M \
        --conf spark.kubernetes.authenticate.caCertFile=$HOME/.minikube/ca.crt \
        --conf spark.executor.extraClassPath="./" \
        local:///path/to/uber/jar.jar \
        "${PROG_ARGS[@]}" > $LOG_FILE 2>&1

Answer 1

我想通了。spark-submit向kubernetes Master的API服务器发送一个请求，以创建驱动程序Pod。configmap卷在mountpath:/opt/spark/conf处挂载到驱动程序的pod中，这将覆盖docker容器中位于该路径处的配置文件。解决方法：将Dockerfile中的/opt/spark/conf编辑为/opt/spark/config，以便从后者复制我的配置文件。