错误：写入非空集合

Question

在将json写入我的Cosmos DB时，我一直面临这个问题。我可以读取数据，但在写入数据时出现问题

应用了以下版本的Cosmos db connectors https://docs . azuredatabricks . net/spark/latest/data-sources/azure/Cosmos db-connector . html，并尝试了不同的版本。这个问题仍然存在。

RawFilePath="/mnt/ADLS/Users/test/CosmosDB/testfile.json"
DFRead=spark.read.json(RawFilePath)
DFNew = DFRead.selectExpr("activity", "partition AS xfactor","response", "source", "type")

writeConfig  = {
 "Endpoint" : "{End Point}",
 "Masterkey" : "{MasterKey}",
 "Database" : "{DB Name}",
 "Collection" : "{Connection name}",
 "Upsert" : "true"   
}

DFNew.write.format("com.microsoft.azure.cosmosdb.spark").options(**writeConfig).save()

收到以下错误。

Error : java.lang.UnsupportedOperationException: Writing in a non-empty collection.

期望将 json 写入 Cosmos DB 集合。但是，无法解决数据砖中的非空收集错误。它真的非常感谢你的帮助。

谢谢你...

Answer 1

尝试指定模式

DFNew.write.format("com.microsoft.azure.cosmosdb.spark").mode("append").options(**writeConfig).save()