当前位置: 首页 > 知识库问答 >
问题:

这是 Spring 云数据流中的错误吗:tab 创建 2 个额外的 kafka 队列和额外的 Spring 启动应用程序用于桥接

吕嘉荣
2023-03-14

对于我的使用,它创建了额外的桥接实例和另外两个 kafka 主题,这会导致数据在 so - 之间流动的延迟问题 -

So - source
p - processor
s - sink

创建数据流的用例

1)对于新记录流应该如此=

2)对于更新记录流程应如此=

DSL:
demo1=so|p > :foo
demo2=:demo1.so > :foo
demo3=:foo > s

问题:

1)这里数据将从 so -

这里数据使用4个队列从源流向接收器,与源数据流相比,延迟问题-

这将创建so和foo作为额外的队列,这将消耗我的资源和硬件。

2)这也创建了额外bridge实例,我可以实时配置amazon web服务来扩展我的应用程序实例(so,p,s ),但是谁以及如何扩展处理器。发生桥接

这将为名为demo2.bridge的网桥创建额外的spring-boot应用程序,它将共享我的资源和硬件

如果我试图连接到不同的流流,那么桥是有意义的,但是在单个和简单的流流中有桥听起来不像是实时生产解决方案。

此外,如果我正在开发具有N个扇出的复杂流,那么这将创建N个网桥实例和N个添加队列/主题,从而消耗额外资源并影响应用程序性能。

在没有额外队列和实例创建的情况下,您能提出任何更好的实现上述用例的建议吗

共有1个答案

耿炎彬
2023-03-14

让我们用一个具体的用例重放您的示例,因为您帖子中的拓扑及其描述有点令人困惑。

假设您将以下内容作为主要管道。

stream1 = http --server.port=9001 |过滤器

在这种情况下,超文本传输协议过滤器应用程序将连接到一个唯一的主题(即stream1.http),每当您在下游位置有一个命名通道时,SCDF内部使用桥接处理器将过滤器应用程序的输出连接到一个命名的目的地。总共,对于上述管道,您将有两个主题(即stream1.httpfoTopic)。

这是设计的。

现在,假设您想TAP这个主管道,并将“未过滤”数据转储到同一个fooTopic

stream2 = “:stream1.http

在这种情况下,不会创建新的主题。将使用桥接处理器在幕后连接两个命名目的地。这也是设计的。

如果我试图连接到不同的流流,那么桥是有意义的,但是在单个和简单的流流中有桥听起来不像是实时生产解决方案。

重申一下,只有在源位置或接收位置(或两者都有)有指定目的地时,才使用桥处理器。请重新设置您现有的设置,并重试一个简单的例子(也与有意义的应用程序/名称)。

 类似资料:
  • 当我尝试运行spring boot应用程序时,我遇到了以下异常: 组织。springframework。豆。工厂BeanCreationException:创建名为“configurationPropertiesBeans”的bean时出错,该bean在类路径资源[org/springframework/cloud/autoconfigure/ConfigurationPropertiesRebi

  • 问题内容: 我正在尝试确定是否可以发布表格之外的其他数据。 这是我认为可行的方法,但仅发送而不发送表单数据。 有人有什么想法吗? 问题答案: 您可以使用 [docs]并添加其他数据:

  • 通常情况下,应用启动完成前,还需要初始化数据库,检查特定用户是否存在,启动后台线程. 再例如,程序关闭前,需要关闭索引服务等等. 如何使用@SetupBy 首先, 实现Setup接口.这个接口就2个方法,分别对应启动(init)和关闭(destroy) public void init(NutConfig nc) { Ioc ioc = nc.getIoc(); // 拿到Ioc容器

  • 所以我想学习SwiftUI和Combine。我通常通过制作一个简单的小费计算器来开始新技术。 我似乎得到了一个随机的“调用中的额外参数”编码时出错这是我的SwiftUI文件 然而,如果我在TipView主体上添加另一个视图(任何视图),我似乎会得到一个“调用中的额外参数”错误。 这里是错误的图片 有人知道是怎么回事吗?

  • 通过数据类,我们可以方便地得到很多有趣的函数,一部分是来自属性,我们之前已经讲过(从编写getter和setter函数): equals(): 它可以比较两个对象的属性来确保他们是相同的。 hashCode(): 我们可以得到一个hash值,也是从属性中计算出来的。 copy(): 你可以拷贝一个对象,可以根据你的需要去修改里面的属性。我们会在稍后的例子中看到。 一系列可以映射对象到变量中的函数。

  • 我产生的数据如下: 我需要使用Apache Kafka流的“金额”字段计数。