Spark scala：将csv文件上传到azure blob时文件已经存在异常

Question

    import org.apache.spark.SparkContext 
    import org.apache.spark.SparkConf
    import org.apache.spark.sql.SQLContext 
    import com.github.saurfang.sas.spark._

     val sqlContext = new SQLContext(sc) 
   val df=sqlContext.sasFile("wasbs://container@storageaccount/input.sas7bdat")
     df.write.format("csv").save("wasbs://container@storageaccount/output.csv");

Answer 1

实际上，您通常无法覆盖HDFS上的现有文件，即使对于MBS中的小文件也是如此。

请尝试使用下面的代码来覆盖，请检查您的spark版本，因为不同的spark版本使用方法有一些差异。

df.write.format("csv").mode("overwrite").save("wasbs://container@storageaccount/output.csv");

我不知道上面使用覆盖模式的代码是否像你说的那样尝试过。

val hadoopConf = new org.apache.hadoop.conf.Configuration()
val hdfs = org.apache.hadoop.fs.FileSystem.get(new java.net.URI("<hdfs://<namenodehost>/ or wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path> >"), hadoopConf)
try { hdfs.delete(new org.apache.hadoop.fs.Path(filepath), true) } catch { case _ : Throwable => { } }