使Kafka使用者在订阅前消费现有消息
拥有发布者和N个消费者，如果消费者使用auto.offset.reset=lates，那么他们将错过订阅主题之前发布到主题的所有消息...众所周知，使用auto.offset.reset=lates的消费者不会重播订阅主题之前存在的消息...
所以我需要：
-
null
我想使用者必须检查现有消息的主题，如果有消息就使用它们，然后启动auto.offset.reset=lates使用。对我来说这是最好的方法...
共有1个答案
我们使用Eureka提供的服务发现特性（任何其他服务发现应用程序都可以完成这项工作）+别名来完成选项（1）。基本上，在至少有一个订阅服务器可用之前，发布服务器不会注册自己（并开始处理请求或发布通知）。
-
我需要在发布/订阅模式下调用Kafka消费者1000次。据我所知，为了让kafka在发布/订阅模式下工作，我需要给每个消费者一个新的groupId(props . put(" group . id "，String.valueOf(Instant.now())。toEpochMilli()))；).但是当我这样做的时候，如果两个消费线程同时访问消费线程，就会出现问题。这个问题应该怎么解决？
-
为了使用Kafka通用地发布消息，我使用类名作为主题： 服务器属性（我从默认属性中唯一更改的内容）： 注意：我还尝试了以下用户设置：
-
因为我是新的Kafka，所以我能够从文件中读取记录，并通过生产者将消息发送到Kafka主题，但不能通过消费者消费相同的主题。 注意：您可以从任何文本文件中读取数据，我使用的是Kafka2.11-0.9。0.0版本 这是我的密码： 下面是输出：
-
我们使用的是spring集成kafka版本3.1.2。RELEASE and int kafka：消息驱动的通道适配器，用于使用来自远程kafka主题的消息。生产者发送加密消息，我们使用反序列化器解密实际消息。我们可以使用主题中发布的所有消息。我们将自动提交用作false。我们想知道在成功处理消息后如何从我们的服务提交或确认消息。有人能帮助我们如何提交从消息驱动通道读取的消息并提供一些参考实现吗？
-
我有一个简单的java制作人，如下所示 我正在尝试读取如下数据 但消费者并没有从Kafka那里读到任何信息。如果我在处添加以下内容 然后消费者开始从题目开始阅读。但是每次消费者重新启动时，它都从我不想要的主题开始读取消息。如果我在启动消费程序时添加了以下配置 然后，它从主题中读取消息，但是如果消费者在处理所有消息之前重新启动，那么它不会读取未处理的消息。 有人可以让我知道出了什么问题，我该如何解决
-
在我们的spring boot应用程序中，我们注意到Kafka消费者偶尔会在prod env中随机消费两次消息。我们在PCF中部署了6个实例和6个分区。我们发现在同一主题中收到两次具有相同偏移量和分区的消息，这会导致重复，对我们来说是业务关键。我们在非生产环境中没有注意到这一点，在非生产环境中很难复制。我们最近转向Kafka，但我们无法找到根本问题。 我们使用的是spring cloud stre