《kafka》专题

下面的日志每次都在后面。（同一条消息的错误几乎是30倍） 我试着重新启动Kafka和Spring Boot应用程序，仍然是同样的问题。 日志： 听者 > 有什么解决方案可以停止收听错误消息吗？我使用了seekErrorHandler它有时只工作，有任何配置问题吗？ Kafka和Spring的Kafka有什么问题吗？ 如何解决这一问题？

我们最近对我们的Kafka集群进行了Kerbertic化，我们开始在阅读来自代理上的主题的消息时遇到问题。 我们使用的是spring kafka 1.1.2版本和kafka client 0.10.0.1。 在研究了Apache Kafka文档中的建议之后，我在项目中做了以下更改。 在使用者属性中添加了security.protocol SASL_PLAINTEXT。 添加了适当的JAAS文件，并

我正在使用spring boot 2.1.7.Release和spring-kafka 2.2.7.Release.并且我正在使用@KafKalistener注释来创建一个消费者，并且我正在使用消费者的所有默认设置。 根据apache kafka文档，'max.poll.records'的默认值是500。 在这里，我试图理解spring是如何处理记录处理的。现在我的问题是,如果我们已经在主题a上发

使用spring集成Kafka dsl，我想知道为什么监听器不能接收消息？但是同样的应用程序，如果我用KafkaListener注释的方法替换spring integration DSL，就能够很好地使用消息。DSL让我错过了什么？ 不消耗的DSL代码：

我正在使用Spring Kafka1.0.3来消费kafka消息。Kafka的2个主题，每个主题有1个分区。在java代码中，有2@KafKalistener来消费每个主题消息。ConcurrentKafkaListenerContainerFactory的并发设置为1。但消息有时会延迟20秒以上。 有人知道为什么吗？ 添加调试日志，并且延迟不是每次都可以，有时也可以：

我知道一个Kafka队列分区中的所有消息（或偏移量）都有它的偏移量数，并且它负责偏移量的顺序。但是，如果我有一个Kafka消费者组（或单个Kafka消费者），它正在读取，特别是Kafka主题分区，那么它如何维护读取的偏移量消息，以及谁维护这个偏移量计数器？如果使用者发生故障，那么新使用者将如何从下一个未读（或未确认）偏移量开始读取偏移量。

我有一个Kafka的题目有1个分区。如果它有100条消息，偏移量将从0.99开始。 根据Kafka保留策略，在指定的时间之后，所有的消息都将被清除。 并且我正在发送100个新的消息到主题，一旦所有已经被清除（在保留期之后）。现在，消息的新偏移量从哪里开始呢？是从100还是从0？？ 我想知道新的偏移是100-199还是0-99？

现在我的问题是如何得到一个主题的结束偏移量，有人说我可以用老消费者，但是太复杂了，新消费者有这个功能吗？

我正在使用SpringKafka消费Kafka的记录。我将max.poll.records设置为300，将enable auto commit设置为false，ack mode设置为Manual。 我想知道，如果100个记录得到了正确的处理，并且我在我的kafkaListener中用确认确认了其中的每一个，现在第101个记录无法被处理，而我没有确认，并且所有剩余的记录也得到了正确的处理（即从第10

尝试了以下方法：1）使用spring kafka注释(@kafkalistener)，但它不允许我们控制轮询。2）创建了“ConcurrentMessageListenerContainer”，并且setupMessageListener将记录添加到队列中进行轮询。这给了我们对使用者的控制。 我想知道，我的方向是正确的吗？使用Spring-Kafka有什么更好的解决方案来达到上述要求呢？

我想使用Spring Kafka API实现一个有状态侦听器。 鉴于以下情况： ConcurrentKafkaListenerContainerFactory，并发设置为“n” Spring@Service类上的@KafKalistener注释方法

由于我是kafka的新手，所以我的小组正在使用Spring-Integration-Kafka:2.0.0.Release发布在Spring-boot应用程序上。基于这里的示例，我能够使用我的KafkaConsumer来消费kafka消息。 对于这个spring-boot应用程序，我有我的application.java 1）在ConsumerConfig设置中，我已经将“ConsumerConf

Kafka根据制作者分配的分区将传入的消息分成多个分区。来自分区的消息随后被不同使用者组中的使用者消费。 这种体系结构使我对使用Kafka作为工作/任务队列保持警惕，因为我必须在生产时指定分区，这间接限制了哪些使用者可以在其上工作，因为一个分区只发送给一个使用者组中的一个使用者。我宁愿不要提前指定分区，这样任何一个可以接受该任务的使用者都可以这样做。有没有一种方法可以在Kafka体系结构中构造分区

我看了Kafka的文件，还不知道如何消费一个话题平行？ 假设：我有一个像“发生了一些事情”这样的话题（不要拆分这个话题），我有很多想消费它的客户。那么该怎么办，让多个客户并行消费呢？我应该使用分区和客户群吗？