在Kerberos环境中尝试用Spark on Yarn以sftp模式编写csv文件

Question

我正在尝试将一个Dataframe写入一个csv文件，并将这个csv文件放入远程计算机。Spark作业在Kerberos集群中的Yarn上运行。

下面是当作业试图在远程计算机上写入csv文件时我得到的错误：

def writeToSFTP(df: DataFrame, path: String) = {
    df.write
      .format("com.springml.spark.sftp")
      .option("host", "hostname.test.fr")
      .option("username", "test_hostname")
      .option("password", "toto")
      .option("fileType", "csv")
      .option("delimiter", ",")
      .save(path)
  }

#!/bin/bash

kinit -kt /home/spark/dev.keytab [e-mail]

spark-submit --class fr.edf.dsp.launcher.LauncherInsertion \
--master yarn-cluster \
--num-executors 1 \
--driver-memory 5g \
--executor-memory 5g \
--queue dev \
--files /home/spark/dev.keytab#user.keytab,\
/etc/krb5.conf#krb5.conf,\
/home/spark/jar/dev-application-SNAPSHOT.conf#app.conf \
--conf "spark.executor.extraJavaOptions=-Dapp.config.path=./app.conf -Djava.security.auth.login.config=./jaas.conf" \
--conf "spark.driver.extraJavaOptions=-Dapp.config.path=./app.conf -Djava.security.auth.login.config=./jaas.conf" \
/home/spark/jar/dev-SNAPSHOT.jar > /home/spark/out.log 2>&1&

csv文件不写入HDFS。一旦构建了Dataframe，我尝试将其发送到机器。我怀疑sftp Spark连接器的Kerberos问题：Yarn无法与远程机器联系...

任何帮助都是欢迎的，谢谢。

Answer 1

添加您有写访问权限的临时位置，不要担心如何清理，因为ftp完成后，这些文件最终会被删除，

def writeToSFTP(df: DataFrame, path: String) = {
        df.write
          .format("com.springml.spark.sftp")
          .option("host", "hostname.test.fr")
          .option("username", "test_hostname")
          .option("password", "toto")
          .option("fileType", "csv")
          **.option("hdfsTempLocation","/user/currentuser/")**
          .option("delimiter", ",")
          .save(path)
      }