从数据库写入Azure cosmos DB的问题

Question

我正在尝试将数据从Spark(使用Databricks)写入Azure Cosmos DB(Mongo DB)。执行notebook时没有错误，但查询集合时出现以下错误。

我用的是databricks网站azure-cosmosdb-Spark _ 2 . 4 . 0 _ 2 . 11-2 . 1 . 2-Uber . jar的jar，我的版本是6.5(包括Apache Spark 2.4.5，Scala 2.11)

import org.joda.time.format._
import com.microsoft.azure.cosmosdb.spark.schema._
import com.microsoft.azure.cosmosdb.spark.CosmosDBSpark
import com.microsoft.azure.cosmosdb.spark.config.Config
import org.apache.spark.sql.functions._
val configMap = Map(
  "Endpoint" -> "https://******.documents.azure.com:***/",
  "Masterkey" -> "****==",
  "Database" -> "dbname",
  "Collection" -> "collectionname"
  )
val config = Config(configMap)
val df = spark.sql("select id,name,address from emp_db.employee")
CosmosDBSpark.save(df, config)

当我查询集合时，我得到下面的响应

Error: error: {
    "_t" : "OKMongoResponse",
    "ok" : 0,
    "code" : 1,
    "errmsg" : "Unknown server error occurred when processing this request.",
    "$err" : "Unknown server error occurred when processing this request."
}

任何帮助都将不胜感激。非常感谢。

Answer 1

该错误表明您正在将CosmosDB与MongoDB api一起使用。

CosmosDB的火花连接器仅在使用SQLapi时支持它。

相反，您应该使用MongoDB连接器。

https://docs.microsoft.com/en-us/azure/cosmos-db/spark-connector

用这个代替https://docs.mongodb.com/spark-connector/master/