当前位置: 首页 > 知识库问答 >
问题:

Kafka消费群体抵消了留存率

夏星阑
2023-03-14

在一个消费者群体中的所有消费者都失败后,kafka会将该消费者群体的补偿存储多长时间?是否有此配置变量?

共有3个答案

左丘成仁
2023-03-14

我已经在Kafka配置中添加了以下属性,它将偏移保留时间更改为7天,并且运行良好。

宣高朗
2023-03-14

该值可以在kafka代理中配置,使用:

offsets.retention.minutes

默认值为24小时。

请参阅:Kafka代理配置文档。

羊舌志
2023-03-14

正确的属性名称为:

offsets.retention.minutes

与 https://kafka.apache.org/documentation/#brokerconfigs

 类似资料:
  • 我们在Kubernetes中基于<code>gcr.io/google_containers/Kubernetes-Kafka:1.0-10.2.1</code>docker映像运行一个Kafka集群,使用<code>gcr.io/google_containers/Kubernetes-zookeeper:1.0-3.4.10</code>,使用三个Kafka和zookeer实例。 我们有几个不

  • 在Kafka中创建主题后,您可以创建任意数量的消费者组,只需尝试使用这些组来阅读主题。 我想创建一个额外的消费者组来监控真实消费者组的消息内容——一个用来偷看他们消息的组。因此,GUI会让您单击任何消费者组的“偷看”,“偷看”组的偏移量将更新为被监控组的偏移量,然后它会向您显示该偏移量中的消息。 不过我很困惑,因为你不能在第一次就明确地创建一个消费者群体。您似乎必须阅读一条消息才能获得在动物园管理

  • 我是Kafka的新手,正在学习Kafka内部知识。请根据需要随时更正我的理解。。 这是我的实时场景..感谢所有的回复: 我有一个接收数据文件的实时FTP服务器…比如索赔文件。 我将把这些数据发布到一个主题中.让我们把这个主题称为claims_topic(2个分区). 我需要订阅这个claims_topic,阅读消息并将它们写入Oracle和Postgres表。让我们将oracle表称为Otable

  • 我在使用Kafka时遇到了一些问题。非常感谢任何帮助!我在docker swell中分别有zookeeper和kafka集群3个节点。您可以在下面看到Kafka代理配置。 我的情况: < li > 20x位制片人不断向Kafka主题传达信息 < li>1x消费者读取和记录消息 < li >终止kafka节点(docker容器停止),因此现在群集有2个Kafka代理节点(第3个节点将自动启动并加入群

  • 我对Kafka比较陌生。我对它做了一些实验,但有一些东西对我来说是不清楚的关于消费者抵消。根据我到目前为止的理解,当使用者启动时,它将从其开始读取的偏移量由配置设置确定(如果我错了,请更正)。 现在举个例子,在主题中有10条消息(偏移0到9),一个消费者碰巧在它关闭之前(或者在我杀死消费者之前)消费了其中的5条消息。然后假设我重新启动消费者进程。我的问题是: > 如果设置为,是否总是从偏移量0开始

  • 是否有一种方法以编程方式访问和打印使用者滞后偏移,或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视,我应该在上面添加哪些语句来得到滞后偏移值?