Azure IotHub to Spark Structure Streaming to COSMOS DB （with and wo Kafka）

Question

• 对于第一个方案，我想将 Spark 结构化流式处理与入口中的 Iot Hub 和 Cosmos DB 用于输出。我使用了以下连接器：
  • azure-eventhubs-spark_2.11-2.3.2
  • azure-cosmosdb-spark_2.3.0_2.11-1.2.0 （不直接与 Maven，通过 import uber jar

  事实上，当我试图将数据导入Cosmos DB时，我收到以下错误：

  “java.lang.assertionError:断言失败：接收到的序列号1790与请求序列号1791不匹配”

  未能找到任何实现连接器且名称与com . Microsoft . azure . IOT . Kafka . connect . source . iothubsourceconnector匹配的类。

  别名有问题。你认为这是因为我们使用物联网中心而不是活动中心吗？

  =

  非常欢迎就上述两种情况提出任何建议！

Answer 1

我正在与@Tidjoe合作，现在解决方案正在发挥作用。

这就是我们正在使用的连接器：

• azure-eventhubs-spark_2.11-2.3.4
• azure-cosmosdb-spark_2.3.0_2.11-1.2.0（不直接使用Maven，通过导入uber jar

我们的解决方案是与Eventhub或IotHub一起使用。

谢谢你的释放！

Answer 2

对于第一个场景：您可能希望尝试版本2.3.4（azure-eventhubs-spark_2.11-2.3.4），该版本应修复该特定问题，如开发团队所述：

https://github.com/Azure/azure-event-hubs-spark/issues/313

和这里

https://github.com/Azure/azure-event-hubs-spark/pull/384