Apache Flink如何管理MQTT消费者补偿
我使用MQTT消费者作为我的flink作业的数据源。我想知道如何将数据偏移保存到检查点中，以确保flink集群在故障后重新启动时不会丢失数据。我看过很多介绍apache flink如何管理kafka消费者补偿的文章。有人知道apache flink是否有自己的功能来管理MQTT使用者吗？谢谢
共有2个答案
你应该阅读留档的状态后端部分。和检查点部分。
启用检查点时，会保留托管状态以确保在发生故障时进行一致恢复。检查点期间保留状态的位置取决于所选的检查点存储。
如果您有MQTT消费者，您应该确保它使用数据源API。您可以在https://night lies . Apache . org/flink/flink-docs-master/docs/dev/datastream/sources/-上阅读相关内容，其中还包括如何与检查点集成。你也可以在FLIP-27 https://cwiki.apache.org/confluence/display/FLINK/FLIP-27:重构源代码界面中阅读详细内容
-
我有代码： 处理消费者异常的最佳方法是什么？现在，如果异常引发，它将被吞没。。。
-
我正在使用Kafka 0.8 最近，我们开始喂食和消耗一个行为怪异的新主题，消耗的偏移量突然被重置，它尊重我们设置的auto.offset.reset策略（实际上是最小的）但我无法理解为什么该主题会突然重置其偏移量。 我正在使用高级消费者。 这是我发现的一些错误日志： 我们有一堆这样的错误日志： 每次出现此问题时，我都会看到警告日志: 然后真正的问题发生了： 现在的问题是:有人已经经历过这种行为吗
-
本文向大家介绍Kafka 的消费者如何消费数据相关面试题，主要包含被问及Kafka 的消费者如何消费数据时的应答技巧和注意事项，需要的朋友参考一下 消费者每次消费数据的时候，消费者都会记录消费的物理偏移量（offset）的位置 等到下次消费时，他会接着上次位置继续消费
-
是否有一种方法以编程方式访问和打印使用者滞后偏移，或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视，我应该在上面添加哪些语句来得到滞后偏移值？
-
我设置了MirrorMaker2，用于在两个DC之间复制数据。 我的 mm2 属性， 看到下面的MM2创业。 我的数据正在按预期进行复制。源主题作为源在目标集群中创建..但是，消费者群体补偿并没有被复制。 已在源群集中启动使用者组。 消耗了少量消息并将其停止。在此主题中发布了新消息，镜像制造商也将数据镜像到目标集群。 我尝试使用来自目标集群的消息，如下所示。 由于我使用相同的使用者组，因此我希望我
-
注意：这将只显示有关使用Java消费者API的消费者（非基于ZooKeeper的消费者）的信息。 此工具还适用于基于ZooKeeper的使用者： bin/kafka-consumer-groups.sh--zookeeper localhost：2181--description--group my-group null PS：这似乎没有出现在2.5文档中