当前位置: 首页 > 知识库问答 >
问题:

Kafka流读写到单独的群集

华宪
2023-03-14

以前已经回答过一个类似的问题,但是这个解决方案对我的用例不起作用。

我们运行2个Kafka集群,每个集群在2个单独的DC中。我们的总入站流量在这两个DC之间分配。

我将在每个DC中运行单独的Kafka流应用程序来转换数据,并希望在单个DC中写入Kafka主题。我怎样才能做到呢?

最终我们将在Druid中索引Kafka主题数据。不可能运行单独的Druid集群,因为我们正在尝试聚合数据。

我读过一篇Kafka的文章是不可能的。有没有一种方法我可以使用另一个Kafka流从DC1读取和写入DC2 Kafka集群?

共有1个答案

长孙兴德
2023-03-14

正如您自己所写的那样,您不能使用Kafka Streams API从Kafka集群A读取并写入不同的Kafka集群B。

相反,如果您想在Kafka集群之间移动数据(无论是在同一DC中还是跨DC),您应该使用Apache Kafka的Mirror Maker或Confluent Replicator这样的工具。

 类似资料:
  • 使用Kafka流DSL是否可行?所有正在使用的主题都是,因此我希望模拟一个表,并且永远不要摆脱旧的值。 TL;DR;如何将一条消息转换成多条消息?

  • 问题内容: 我正在尝试通过URLConnection上传文件,但是我需要将其读取/写入为二进制文件,而无需进行任何编码更改。 所以我试图从读取数组,但是现在我有一个问题。我用于输出到服务器的对象不允许我执行操作(类型为)。我怎样才能解决这个问题?还是有另一种快速将二进制数据从a复制到a的方法? 谢谢 问题答案: 对象(包括)专门用于输出字符数据。听起来您想要这里而不是这里。 你是哪里人 如果它是通

  • 本文向大家介绍arduino 简单的读写,包括了arduino 简单的读写的使用技巧和注意事项,需要的朋友参考一下 示例 此示例侦听通过串行连接输入的输入,然后将其重复发送回相同的连接。            

  • 我有一个带有1.0.0 Kafka stream API的Kafka stream应用程序。我有单个代理0.10.2.0kafka和单个分区的单个主题。除producer Request.Timeout.ms外,所有可配置参数都相同。我配置了producer request.timeout.ms(使用5分钟的时间)来修复Kafka Streams程序在产生问题时抛出异常。 有时context fo

  • 我对Kafka和Kafka流很陌生,所以请容忍我。我想知道我是否在正确的轨道上。 我正在给一个Kafka主题写信,试图通过rest服务访问数据。在访问原始数据之前,需要对其进行转换。 到目前为止,我拥有的是一个将原始数据写入主题的制作人。 1)现在我想要streams应用程序(应该是一个在容器中运行的jar),它可以将数据转换为我想要的形状。遵循这里的物化视图范式。 1的过度简化版本。) 2)和另

  • 当我只打开一次处理时,我会得到以下错误。注意:我们的应用程序非常安全,我们只允许Kafka用户和消费者访问他们明确需要的资源。 只有一次处理kafka流是否在所有流任务中使用每个流任务的消费者组而不是消费者组?