亚马逊电子病历和S3，org。阿帕奇。火花sql。分析异常：路径s3:///var/表已存在

Question

我正在试图找到Spark 2.0上的错误源。0，我有一个将表名作为键、数据帧作为值的映射，我循环遍历它，最后使用spark avro（3.0.0-preview2）将所有内容写入S3目录。它在本地运行非常完美（当然是本地路径而不是s3路径），但是当我在Amazon的EMR上运行它时，它运行了一段时间，然后它说文件夹已经存在并终止（这意味着相同的键值在for循环中被使用了不止一次，对吗？）。这可能是线程问题吗？

for ((k, v) <- tableMap) {
  val currTable: DataFrame = tableMap(k)
  val decryptedCurrTable = currTable.withColumn("data", decryptUDF(currTable("data")))
  val decryptedCurrTableData = sparkSession.sqlContext.read.json(decryptedCurrTable.select("data").rdd.map(row => row.toString()))
  decryptedCurrTable.write.avro(s"s3://..../$k/table")
  decryptedCurrTableData.write.avro(s"s3://..../$k/tableData")

Answer 1

我认为这是一个并发问题，我将代码更改为：

decryptedCurrTable.write.mode("append").avro(s"s3://..../$k/table")
decryptedCurrTableData.write.mode("append").avro(s"s3://..../$k/tableData")  

一切都很顺利。