Flink Kafka重置检查点和偏移量
简而言之，我想从一开始就对Kafka的数据重新运行Flink管道。
Flink0.10.2，Kafka0.8.2。
我在Kafka中有一个保留2小时的推文主题，以及Flink中的一个管道，该管道以每10秒5分钟的滑动窗口计算推文。
如果我中断管道并重新运行它，我希望它重新读取旧推文，从而发出价值5分钟的推文计数。相反，它似乎从新到达的推文重新开始，因此需要5分钟才能计数为“处于状态”。
我已经尝试了两种自动。抵消重置=最小/最早，并更改组。id，但未成功。我还尝试手动更改Kafka中的偏移量，如下所述：https://metabroadcast.com/blog/resetting-kafka-offsets
然后我假设该问题可能与Flink的检查点有关，但我不知道/找不到有关如何重置该检查点的信息。
有人能分享一些工作代码吗？谢谢，E。
共有1个答案
要重新阅读Kafka主题中的所有可用内容，将新的“group.id”和“auto.offset.reset”设置为“earliest”就足够了。
如果这不起作用，就有问题了。
-
问题描述： 我们的Kafka consumer（在Spring Boot2.x中开发）正在执行几天。当我们重新启动这些消费者时，主题的所有消息都将被再次消费，但仅在特定条件下。 条件： 代理配置： 谢谢和问候
-
我已经设置了一个本地的Kafka0.10+Flink1.4环境。 我使用下面的代码来消费来自Kafka主题的数据： 在我执行这段代码后，总是会发现警告消息： 自动提交组TaxidataGroup的偏移量{taxidata-0=offsetandMetadata{offset=728461,Metadata=“}}失败：无法完成提交，因为该组已重新平衡并将分区分配给其他成员。这意味着对poll（）的
-
有人能解释一下这里出了什么问题吗。我猜这是有偏移和步幅的东西，但是... 顶点包含位置结构和2个浮点，颜色结构和4个GLubyte和Tex结构和2个浮点。 如果我用这段代码替换它，它工作得很好。
-
我对Kafka0.11.0.0有意见 在Kafka0.10.2.1中我对此没有任何问题。我只在0.11.0.0版本中遇到这个问题。 我的使用者将auto.offset.reset设置为最早，而auto commit设置为false，因为我是手动提交的。Kafka数据存储在具有必要权限的非TMP目录中。broker配置的其余部分为默认配置。 我需要0.11.0.0版本的事务。我不知道问题出在哪里。这
-
我试图在hive中执行偏移量查询，试图排除特定记录，但总是得到以下错误： 环境：
-
将kafka consumer offset重置为“最早”时，它会保留一些带有偏移量的分区 显示： 为什么分区1也没有0？