Kafka 0.11.0.0在重新启动时保持重置偏移量
我对Kafka0.11.0.0有意见
在Kafka0.10.2.1中我对此没有任何问题。我只在0.11.0.0版本中遇到这个问题。
我的使用者将auto.offset.reset设置为最早，而auto commit设置为false，因为我是手动提交的。Kafka数据存储在具有必要权限的非TMP目录中。broker配置的其余部分为默认配置。
我需要0.11.0.0版本的事务。我不知道问题出在哪里。这是什么原因造成的呢？是不是漏了新的配置参数？
WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. This implies messages have arrived out of order. New: {epoch:4, offset:1669}, Current: {epoch:5, offset1540} for Partition: __consumer_offsets-26 (kafka.server.epoch.LeaderEpochFileCache)
[2017-08-22 08:59:30,719] INFO [GroupCoordinator 0]: Preparing to rebalance group scrapperBackup with old generation 119 (__consumer_offsets-26) (kafka.coordinator.group.GroupCoordinator)
[2017-08-22 08:59:30,720] INFO [GroupCoordinator 0]: Group scrapperBackup with generation 120 is now empty (__consumer_offsets-26) (kafka.coordinator.group.GroupCoordinator)
[2017-08-22 09:15:37,948] INFO Partition [__consumer_offsets,26] on broker 0: __consumer_offsets-26 starts at Leader Epoch 6 from offset 1699. Previous Leader Epoch was: 5 (kafka.cluster.Partition)
@edit3为Kafka/Zookeeper数据创建新目录和从头开始创建一切都有帮助。我不知道是什么问题，但它现在正常工作。似乎是应用程序的数据目录出现了一些错误。
共有1个答案
如果您遇到此问题，请下载Kafka的新版本0.11.0.1。这个问题在那个版本中被修复了。
这就解释了这个bug：https://issues.apache.org/jira/browse/kafka-5600
-
我遇到的问题是，当Kafka和Flink作业重新启动时，Flink Kafka消费者偏移量会重置为0，因此即使我启用了检查点并且我在Flink作业中启用了精确一次语义学，数据也会被重新处理。 这是我的环境详细信息 < li >在Kubernetes下奔跑 < li>Kafka源主题有10个分区，没有复制。 < li >Kafka有三个经纪人。 < li>Flink checkpointing启用了
-
我有一个单一的Kafka消费者，它连接到一个有3个分区的主题。一旦我从Kafka那里得到一张唱片，我就想捕捉偏移量和分区。在重新启动时，我希望从上次读取的偏移量恢复使用者的位置 摘自Kafka文档： 每个记录都有自己的偏移量，因此要管理自己的偏移量，只需执行以下操作： 配置enable.auto.commit=false 下面是我的示例代码： 这是正确的做法吗？有没有更好的办法？
-
但是如果我们重新启动kafka服务器，使用者会重新读取已经提交的偏移量吗？或者这个选项在这样的情况下工作--服务器重新启动后，只会消耗未读的消息？
-
我使用的是0.10.1.1 API的高级使用者。 奇怪的是，当我关闭应用程序并重新启动它时，偏移量比上次提交的偏移量大一点，我找不到原因。 我在代码中只有一个提交点。 一个分区的示例： 关机前偏移量：3107169023 分区分配时的偏移量：3107180350
-
我有一个Kafka主题和一个消费者，在Spring云应用程序中分配了一个消费者组（必须）。作为一项要求，在每次应用程序重启时，我都需要从一开始就开始读取所有接收到的消息。这应该是通过属性实现的，但从这个问题可以清楚地看出，它目前不起作用。 我在kafka消费者api中发现了这个变通方法，它建议在每次重启时为消费者组分配一个新的随机名称，作为从最早开始阅读的一种方式。在Spring Cloud St
-
问题内容： 我正在使用CSS着色器+动画。我的着色器类定义如下： 我正在尝试使用jQuery通过和动态设置/取消设置样式（shader + animation） 但是，奇怪的是，当我重置类时（例如，在removeClass之后调用addClass），仅重新应用了着色器，而没有应用动画（我已钩住AnimationStart事件以查看动画何时开始）。有人知道为什么会这样吗，我该如何解决？ 编辑：我在这