当前位置: 首页 > 知识库问答 >
问题:

KafkaConsumer还会继续在后台获取处于暂停状态的主题分区吗?

陆雅志
2023-03-14

我在这里查看的是KafkaConsumer源代码。通过查看源代码(java版本,我不太熟悉),暂停一个topicpartition似乎将其偏移量状态设置为Paused。我试图弄清楚KafkaConsumer在后台执行的to获取操作发生了什么,暂停主题分区是否会停止kafka使用者执行的预取操作,还是它继续预取,但在轮询时不返回该主题分区的ConsumerRecords。

共有1个答案

秦钟展
2023-03-14

都有。暂停分区将停止对该分区的预取,并且在轮询时返回空。

 类似资料:
  • 我要做的是暂停< code>KafkaConsumer,如果在使用消息的过程中出现错误。 这是我写的 然后我写了一个REST服务来恢复消费者 现在,我有两个问题。第一个问题:当我打电话给消费者时。来自<code>@KafkaListener</code>注释方法的pause()会发生什么?消费者立即暂停,或者我可以接收到同一主题分区的其他偏移量上的其他消息。例如,我有偏移量为3的“message1

  • 在RxJava(或一般的RX)中,是否有任何方法可以组合可观察对象,使生成的可观察对象等待直到每个可观察对象以任何一种方式完成(当其中任何一个抛出错误时不会吓坏),然后完成一个包含有关哪个可观察对象成功完成以及哪个遇到错误的信息的结果? 如果observable成功完成,它还将返回observable的结果;如果observable失败完成,它将返回错误原因(如Throwable实例)? 行为类似

  • :) 我已经在一个(奇怪的)情况中结束了自己,简单地说,我不想使用来自Kafka的任何新记录,因此暂停主题中所有分区的sparkStreaming消费(InputStream[ConsumerRecord]),执行一些操作,最后,恢复消费记录。 首先这可能吗? 我一直在尝试这样的事情: 但是我得到了这个: 任何帮助我理解我遗漏了什么,以及为什么当消费者明确分配了分区时我会得到空结果的帮助都将受到欢

  • 我正在创建一个应用程序,其中我从服务器下载一些数据。在后台运行时,我希望连接应该继续运行,以便可以下载数据。我知道在app里有方法 当应用程序进入后台时调用。但由于连接是在viewController中创建的,如何在appDelegate中管理它 还有其他方法可以做到这一点吗?我已经通过了这个链接,但是有一个简单的实现方法吗?

  • 问题内容: 我正在尝试创建一个线程,该线程在后台执行操作。我需要能够在需要时有效地“暂停”并稍后再次“恢复”。另外,如果我“暂停”该线程时正在执行某项操作,则该线程应使调用线程等到完成其操作为止。 我对Python中的多线程技术还很陌生,所以我还没走那么远。 除了线程正在做某事时调用了pause之外,我几乎可以做的所有事情都让调用线程等待。 这是我要在代码中实现的目标的概述: 我想我基本上需要一种

  • 我使用Java的rabbitmq-client(https://mvnrepository.com/artifact/com.rabbitmq/amqp-client),我需要实现以下场景: 在接收Rabbit消息时,如果怀疑内存中不适合所有等待的数据,则可能需要暂停特定队列的Rabbitmq消耗。 处理完一些消息后,需要再次打开以下一组消息的消耗。 根据需要重复。 使用amqp-client J