举个例子,我的kafka用户(在用户组1中)正在阅读来自kafka主题A的消息。
现在,如果用户在失败前使用了12条消息。
当用户再次启动时,现在它有不同的用户组(即用户组2),问题1-?在重新启动时,它是否会从它在偏移量(或位置)中停止的地方继续,因为该偏移量是由Kafka和/或ZooKeeper存储的,或者它是否会从第一条消息开始使用消息。
问题2->有没有办法确保在重新启动时(当消费者有不同的消费者组时),它仍然从重新启动前停止的地方开始消费?
为了给出上下文,我试图在收到关于kafka主题的消息时更新每个节点/服务器中的内存缓存。为了做到这一点,我为每个节点/服务器使用了不同的使用者组,以便所有节点/服务器使用每个消息来更新内存中的缓存。请让我知道如果有更好的方法做到这一点。谢了!
使用者偏移量是每个使用者组维护的,因此,如果每次重新启动时有不同的使用者组,则可以使用auto.offset.reset
属性
Auto.Offset.Reset属性指定
问题内容: 我正在开发一个。是否可以在更改后立即重启?我正在使用CoffeeScript开发它。保存更改后可以观看以便重新启动吗? 问题答案: 您可以创建一个这种意愿的,只是另一个一饮而尽child_process。 我曾经为了接受“主任务”而在需要重新启动时运行。因此,为了运行此程序,您可以调用: 要进行测试,请致电或查看日志。
我们如何处理抵消腐败? 我想把偏移量日志保存在其他地方,或者拍摄偏移量的快照。我怎么能这么做?
我现在可以更改为Visual Studio代码编辑器吗?在使用Git bash的同时,会不会在以后的作品中造成什么问题呢?我仍然没有找到这个问题的答案。但我想,我现在会得到我的答案。提前谢谢你。
我正在处理xml,我需要每条记录发送一条消息,当我收到最后一条记录时,我关闭了kafka生产者,这里的问题是kafka生产者的发送方法是异步的,因此,有时当我关闭生产者时,它会拖曳我在某个地方读到过,我可以让制片人敞开心扉。我的问题是:这意味着什么,或者是否有更好的解决方案。 -编辑- 想象以下场景: 我们阅读标签并创建kafka生产者 对于每个元素,我们读取其属性,生成一个json对象并使用se
我正在开发一个。能让它一变就重启吗?我正在Coffeescript中开发它。是否可以监视以便在保存更改时重新启动?
问题内容: 想象一下,一个需要花费很长时间才能运行的python脚本,如果我在运行时对其进行修改,会发生什么?结果会有所不同吗? 问题答案: 没什么,因为Python将您的脚本预编译为PYC文件并启动它。 但是,如果发生某种异常,您可能会得到有点误导的解释,因为 X 行的代码可能与启动脚本之前的代码不同。
我正在使用推送通知上的标志触发后台提取。启用了和。 下面是我在AppDelegate.m中使用的实现: 当应用程序在后台运行时,它工作得很好。(收到通知后,应用程序触发了“好像我收到通知了”本地通知,上面的代码应该这样做)。
我有一个Kafka Streams应用程序,每当我重新启动它时,它所消耗的主题的偏移量就会被重置。因此,对于所有分区,延迟增加,应用程序需要重新处理所有数据。 更新:输出主题接收到一系列事件,这些事件在应用程序重新启动后已经被处理,而不是像我在上一段中所说的那样,输入主题的偏移量被重置。但是,内部主题(KTABLE-SUPPRESS-STATE-STORE)偏移量正在重置,请参见下面的注释。 在重