当前位置: 首页 > 知识库问答 >
问题:

Azure事件中心限制下的Spring云数据流?

鲁成天
2023-03-14

我们计划在Azure云上使用Spring云数据流,使用Azure EventHub作为消息绑定器。在Azure EventHub上,存在硬限制:

  • 100个名称空间
  • 每个名称空间10个主题

SpringCloudAzure事件中心流绑定器似乎只能配置一个名称空间,那么我们如何管理多个名称空间呢?

也许我们应该使用多个绑定器,以拥有SpringCloudAzure事件中心流绑定器的多个实例?

有人有什么想法吗?还是我们没找到的留档?

问候

雷米

共有1个答案

沈宏朗
2023-03-14

Spring Cloud Data Flow和Spring Cloud Skipper支持平台帐户的概念。使用它,您可以为每个命名空间或任何其他K8s集群设置多个帐户。这为绕过Azure堆栈中的这些硬限制提供了很大的灵活性。

我们有一个多平台部署的配方。

在部署来自SCDF的流时,你会选择平台帐户(又名命名空间或其他配置),这样部署的流应用(类路径中有Azure绑定)将自动在不同的命名空间中运行。有效地规避了Azure中强制执行的限制。

SCDF还自动捕获应用程序运行位置和审计跟踪的出处跟踪,因此在任何给定时间,您都可以知道谁在哪个命名空间做了什么。

 类似资料:
  • 我有一个启用了Kafka的Azure Event Hub,我正试图从Google Cloud的数据流服务连接到它,以将数据流式传输到Google Big Query。我成功地可以使用Kafka CLI与Azure Event Hub交谈。但是,使用GCP,5分钟后,我在GCP数据流作业窗口中收到超时错误。 Azure EH已启用Kafka- 为了设置启用Kafka的事件中心,我遵循此GitHub页

  • 每次我们启动spring云任务时,它都会启动一个新的jvm(java.exe),所以如果启动了25个任务,那么它就会启动25个jvm。 我想知道如何同时限制所有任务(为所有部署的JAR运行)的总数? 假设我必须将一次运行的所有任务的总数限制为25个。在SCDF中有什么设置我们可以做到这一点吗? 请让我知道

  • 我已经实现了下面链接中的代码,用于从事件中心接收事件。但是假设有10个事件,每5个事件检查一次。现在程序在读取第7个事件时异常退出,如果我再次重启事件处理器主机,那么事件(1,2,3,4,6)将被重新读取。请建议我如何再次避免重读和阅读第7次事件?任何例子都值得欣赏。谢了。 https://github.com/Azure/azure-event-hubs/blob/master/samples/

  • 我有一个事件侦听器Spring boot应用程序,它执行从Azure事件中心主题读取操作- 我只是遵循了链接eventhubs活页夹示例中的示例。 在@StreamListener注释方法内执行的任何JPA save操作都不会将数据插入DB中。。 非常感谢您的任何提示。。我想我必须对事务同步(KafkaTransactionManager-JPATransactionManager)做些什么,但不