基于相同的密钥加入/分组Kafka中的多个主题
我有一个外部应用程序生成的多个主题，这些主题共享相同的密钥，并且它们共享此模型：
Topic1：使用unix ms时间戳作为键生成消息。
主题2:从主题1中读取并生成具有相同密钥的消息
Topic3：从Topic2读取并生成具有相同键的消息
等等
我的应用程序依赖于Topic3中的最终消息（它们在1-2ms内生成），但我也希望Topic1中的值。我创建了一个使用多个使用者的类，但我觉得它不是很有效。在c#中应该如何做到这一点？
我听说过Kafka Streams java API，但我还没有在c#中找到类似的东西。
共有1个答案
< code > confluent-kafka-dot net 客户端尚不支持Kafka流。更多信息，你可以参考问题#344。
但是，您可以使用< code > Kafka-streams-dot net ，它是Apache Kafka的. NET流处理库。
另一个选项是ksqldb，它允许您加入流。
-
这是我的密码 抱歉，如果我的代码一团糟。
-
我有2个Kafka的主题流完全相同的内容从不同的来源，所以我可以有高可用性的情况下，其中一个来源失败。我正在尝试使用Kafka Streams0.10.1.0将2个主题合并为1个输出主题，这样我就不会错过任何关于失败的消息，并且当所有源都启动时没有重复的消息。 当使用KStream的方法时，其中一个主题可以毫无问题地关闭（次要主题），但是当主主题关闭时，将不会向输出主题发送任何内容。这似乎是因为，
-
我在Kafka Topic内部有500万条消息。 我必须加入具有相同分区密钥的消息作为单个消息的一部分，并发送给消费者主题[例如：对于密钥1234-Messge1，消费者应该收到单个消息而不是100万消息] Kafka端是否有可用的Kafka API，使用它我可以读取组中具有相同Partition键的所有消息，而不是像传统的spring boot Kafka Listener那样一次读取单个消息。
-
我有一个应用程序需要收听多个不同的主题；每个主题都有关于如何处理消息的单独逻辑。我曾想过为每个KafkaStreams实例使用相同的kafka属性，但我得到了如下所示的错误。 错误 流处理应用程序的标识符。在Kafka集群中必须是唯一的。它用作1）默认的客户端ID前缀，2)用于成员资格管理的组ID，3)变更日志主题前缀。 问题 此错误意味着什么，以及导致此错误的原因。 假设您可以有应用程序的多个实
-
我想在js中制作一个网页，将加密明文，所以我可以把它发送给朋友，谁将使用相同的网页来解密它。 我们将共享同一密钥，并将其用于多条消息。 我知道当使用AES CBC-有需要随机iv为每个消息，但我喜欢使用AES CTR。 我将使用256键，而不是密码。 我有两个问题： 我可以在CTR和no iv中多次使用同一密码吗 如果我将使用CBC，在发送加密消息的同时发送明文iv是否安全 我使用的是aes js
-
我有两个kafka consumer实例，配置了相同的消费者组，并监听相同主题中的分区0。问题是我发消息到题目的时候。消息由两个实例使用，这两个实例应该不会发生，因为它们在同一个组中。我使用Spring Boot配置类来配置它们。 以下是配置: 以下是听众：