Kafka消费者在发布/订阅模式
我需要在发布/订阅模式下调用Kafka消费者1000次。据我所知，为了让kafka在发布/订阅模式下工作，我需要给每个消费者一个新的groupId(props . put(" group . id "，String.valueOf(Instant.now())。toEpochMilli()))；).但是当我这样做的时候，如果两个消费线程同时访问消费线程，就会出现问题。这个问题应该怎么解决？
共有1个答案
如果您想要在消费者之间传播消息，您需要使用同一个< code>group.id。如果您有1000条消息和1000个消费者，那么每个消费者通常会消费一条消息。
另一方面，如果您希望每个消费者使用来自主题的所有消息，您需要使用不同的< code>group.id，以便主题中的消息被所有消费者使用。如果您有大量的消费者，您可以使用< code>UUID.randomUUID()。toString()以便为每一个生成不同的< code>group.id。
根据文件：
消费者用一个消费者组名来标记自己，发布到一个主题的每个记录都被传递到每个订阅消费者组中的一个消费者实例。消费者实例可以在不同的进程中，也可以在不同的机器上。
如果所有消费者实例具有相同的消费者组，那么记录将有效地在消费者实例上进行负载平衡。
如果所有的消费者实例都有不同的消费者组，那么每个记录都将被广播给所有的消费者进程。
-
拥有发布者和N个消费者，如果消费者使用，那么他们将错过订阅主题之前发布到主题的所有消息...众所周知，使用的消费者不会重播订阅主题之前存在的消息... 所以我需要： null 我想使用者必须检查现有消息的主题，如果有消息就使用它们，然后启动使用。对我来说这是最好的方法...
-
我想用Java实现各种各样的发布者/订阅者模式，但目前已经没有主意了。 有1个发布者和N个订阅者，发布者发布对象，然后每个订阅者需要按照正确的顺序对每个对象进行一次且仅处理一次。发布者和每个订阅者在自己的线程中运行。 在我最初的实现中，每个订阅者都有自己的阻塞队列，发布者将对象放入每个订阅者的队列中。这可以正常工作，但如果任何订阅者的队列已满，发布者将被阻塞。这会导致性能下降，因为每个订阅者处理对
-
为了使用Kafka通用地发布消息，我使用类名作为主题： 服务器属性（我从默认属性中唯一更改的内容）： 注意：我还尝试了以下用户设置：
-
我是新的数据流和发布子工具在GCP。 需要将prem过程中的电流迁移到GCP。 当前流程如下： 我们有两种类型的数据馈送 Full Feed–其adhoc作业–完整XML的大小约为100GB（单个XML–非常复杂的一个–完整的数据–ETL作业处理此XML并将其加载到约60个表中） 单独的ETL作业用于处理完整提要。ETL作业过程完全馈送并创建负载就绪文件，所有表将被截断并重新加载 源系统每30分钟
-
Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。 Redis 客户端可以订阅任意数量的频道。 下图展示了频道 channel1 ， 以及订阅这个频道的三个客户端 —— client2、client5 和 client1 之间的关系： 当有新消息通过 PUBLISH 命令发送给频道 channel1 时， 这个消息就会被发送给订阅它的三个
-
目前，我已经开始使用ActiveMQ处理JMS主题。我已经通过JAVA代码（如下所述）创建了发布者和持久订阅者，并且在订阅者端也收到了消息。 Publisher.Java 订阅者.java 我对以下主题有一些疑问， 如何检查有多少订阅者使用 Java JMS 在主题中主动查找消息？ 如何从主题中获取活动和持久订阅者列表？ 我们是否可以删除主题中发布的消息？ 在这些情况下帮助我。 提前致谢。