"found no committed offset for partition"
"Resetting offset to {NUMBER} for the partition {TOPIC-NUMBER}"
ofset.reset= earliest ( but it should not provide me committed offsets again, I guess)
heat beat interval = 2000 ms
session time out= 50000 ms
auto commit = false
我注意到前面也有人问过类似的问题。但没有什么能结束这个问题。我在这里提到这些链接
Kafka-节点突然从偏移量0消耗
Kafka Consumer:从一开始就开始读取分区,即使有提交的偏移量
Kafka崩溃后,偏移量丢失
Kafka分区和偏移量消失
这并不是一个真正的答案,更多的是一个建议。
请参阅Auto.Offset.Reset。如果代理(由于某种原因)找不到偏移量,并且auto.offset.reset的值被设置为“最早”(在您的情况下是这样的),就会看到上述行为。
因此,在你的案例中,
我有一个Kafka消费者,我从它消费数据从一个特定的主题,我看到下面的例外。我使用的是Kafka版本。 我添加了这两个额外的消费者属性,但仍然没有帮助: 那个错误意味着什么?我该如何解决它?我需要添加一些其他消费者属性吗?
我已经在iOS 7中将一个普通的jane UITableView拖到UIViewController上。 现在,在第一个单元格开始之前,存在空间的垂直偏移。我怎样才能摆脱它?我希望第一行更靠近UITableView实际开始位置的上边缘。我没有要求大的补偿,是吗? 有什么想法吗?
我有一个ReactorKafka项目,它消耗来自Kafka主题的消息,转换消息,然后写入到另一个主题。 我的理解是,只有在Reactor中成功完成所有顺序步骤后,才会提交偏移量。对吗?我想确保不会处理下一条记录,除非当前记录成功发送到目标Kafka主题。
我目前正在使用ConFluent HDFS Sink连接器(v4.0.0)来替换Camus。我们正在处理敏感数据,因此我们需要在切换到连接器期间保持偏移的一致性。 移交计划: 我们创建了hdfs接收器连接器,并订阅了一个主题,该主题将写入临时hdfs文件。这将创建一个名为connect-的用户组 已使用DELETE请求停止连接器 使用/usr/bin/kafka使用者组脚本,我可以将连接器使用者组
我正在使用spring with Kafka来消费来自Kafka主题的数据。我已经将并发配置为10。因此不同的线程轮询代理以获取消息并处理消息。即使在一段时间后(成功处理),我们也会收到相同的消息返回给使用者的不同线程。我们能够在配置的max.poll.interval.ms=1500000内处理接收到的消息。 请找到以下配置的Kafka消费者属性。我已经通过Kafka配置了自动提交。 你能帮我解
我正试着把我的头绕在Kafka的交易上,而且只绕了一次。 我已经创建了一个事务性消费者,我想确保阅读和处理某个主题的所有消息。如果事务失败,消息因此丢失,Kafka仍会提交偏移量。 更正式地说,如果流处理应用程序使用消息A并生成消息B,使得B=F(A),那么恰好一次处理意味着当且仅当成功生成B时才认为A被消耗,反之亦然。来源 基于此,我假设消息A没有被消费,因此将再次被重新处理。但这条信息将如何重