《中邮消费金融》专题

有什么方法可以阻止Kafka的消费者在一段时间内消费信息吗？我希望消费者停止一段时间，然后开始消费最后一条未消费的消息。

我花了几个小时想弄清楚发生了什么，但没能找到解决办法。 这是我在一台机器上的设置： 1名zookeeper跑步 我正在使用kafka控制台生成器插入消息。如果我检查复制偏移量（

我在使用Kafka时遇到了一些问题。非常感谢任何帮助！我在docker swell中分别有zookeeper和kafka集群3个节点。您可以在下面看到Kafka代理配置。 我的情况： < li > 20x位制片人不断向Kafka主题传达信息 < li>1x消费者读取和记录消息 < li >终止kafka节点(docker容器停止)，因此现在群集有2个Kafka代理节点(第3个节点将自动启动并加入群

我有一个spring boot项目，我是spring-kafka来连接底层的kafka事件枢纽。 我不得不在同一节消费者课上听2个不同的话题。我有两种方法可以这样做。 一个是要有两个这样的Kafka听众： 另一种方法是在同一个kafkaListener中有两个主题，如下所示 ===================edit===============application.yml中的Kafka属性

本文向大家介绍Kafka 的消费者如何消费数据相关面试题，主要包含被问及Kafka 的消费者如何消费数据时的应答技巧和注意事项，需要的朋友参考一下 消费者每次消费数据的时候，消费者都会记录消费的物理偏移量（offset）的位置 等到下次消费时，他会接着上次位置继续消费

我实现了一个Java使用者，它使用来自Kafka主题的消息，然后将这些消息与POST请求一起发送到REST API。 假设一个消息已经被使用，但是Java类未能到达REST API。消息将永远不会被传递，但它将被标记为已消耗。处理这类案件最好的办法是什么？当且仅当来自REST API的响应成功时，我能以某种方式确认消息吗？

我要求从主题中读取消息，对它们进行批处理，然后将批处理推送到外部系统。如果批处理因任何原因失败，我需要再次使用同一组消息并重复该过程。因此，对于每个批处理，每个分区的 from 和 to 偏移量都存储在数据库中。为了实现这一点，我通过向读取器分配分区来为每个分区创建一个Kafka使用者，基于先前存储的偏移量，使用者寻求该位置并开始读取。我已关闭自动提交，并且不提交来自使用者的偏移量。对于每个批处理

Flink kafka消费者有两种类型的消费者，例如： 这两个消费者层次结构扩展了相同的类。我想知道维护编号类背后的设计决策是什么？我们什么时候应该使用其中一种？ 我注意到带有数字后缀的类有更多的特性（例如ratelimiting）。 https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka

我有两个组id相同的消费者服务器订阅了相同的主题。kafka服务器仅使用一个分区运行。据我所知，消息应该在这两个消费者服务器中随机使用。但现在似乎总是同一个消费者服务器A消费消息，另一个不消费消息。如果我停止消费者服务器A，另一个将正常工作。我所期望的是，他们可以随机消费信息。

我刚接触Kafka，很少阅读教程。我无法理解使用者和分区之间的关系。 请回答我下面的问题。 > 消费者是否由ZK分配到单个分区，如果是，如果生产者将消息发送到不同的分区，那么其他分区的消费者将如何使用该消息？ 我有一个主题，它有3个分区。我发布消息，它会转到P0。我有5个消费者（不同的消费者群体）。所有消费者都会阅读P0的信息吗？若我增加了许多消费者，他们会从相同的P0中阅读信息吗？如果所有消费者

我正在Java中实现一个简单的Kafka消费者。代码如下： 我在网上查看的任何文档都给出了range或roundrobin作为可能的分配策略，据我所知，groupId是一个自定义名称。不确定这里什么是正确的配置值。

Kafka consumer通过向 broker 发出一个“fetch”请求来获取它想要消费的 partition。consumer 的每个请求都在 log 中指定了对应的 offset，并接收从该位置开始的一大块数据。因此，consumer 对于该位置的控制就显得极为重要，并且可以在需要的时候通过回退到该位置再次消费对应的数据。 Push vs. pull 最初我们考虑的问题是：究竟是由 con

The Consumer API allows applications to read streams of data from topics in the Kafka cluster. Examples showing how to use the consumer are given in the javadocs. To use the consumer, you can use the

我有一个简单的Kafka消费者微服务应用程序，它使用来自某个主题的消息，同一个应用程序运行在两个不同的池中。 所以，当消息由制作人生成，而我的应用程序尝试使用来自主题的消息时，它只被一个池中的一个人使用。 如何停止从消费者Kafka读取并发消息。我想在两个池中使用相同的消息。 这种情况下可能的解决方案是什么

TL；DR；我试图理解一个被分配了多个分区的单个使用者是如何处理reach分区的消费记录的。 例如： 在移动到下一个分区之前，会完全处理一个分区。 每次处理每个分区中的可用记录块。 从第一个可用分区处理一批N条记录 以循环旋转方式处理来自分区的N条记录 我找到了或分配程序的配置，但这只决定了使用者如何分配分区，而不是它如何从分配给它的分区中使用。 我开始深入研究KafkaConsumer源代码，#