Kafka减少消费者滞后
共有1个答案
根据使用的使用者配置，Kafka使用者轮询代理以获取消息，并获取可供使用的任何消息。一般来说，如果您的目标是提高吞吐量，那么在单个轮询请求中传输尽可能多的数据是有效的。但是在一次轮询中传输多少数据取决于消息的大小、记录的数量和一些控制等待消息可用的时间的参数。
通常,您可以使用以下一个或多个使用者配置来影响吞吐量：
fetch.min.bytes
max.poll.records
fetch.max.wait.ms
-
是否有一种方法以编程方式访问和打印使用者滞后偏移，或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视，我应该在上面添加哪些语句来得到滞后偏移值？
-
在某些情况下，API处理花费了更多的时间，因为获取了更多的记录，我们得到了以下错误？ 成员consumer-prov-em-1-399ede46-9e12-4388-b5b8-f198a4e6a5bc向协调器apslt2555.uhc.com:9095（ID：2147483577 rack：null）发送离开组请求已过期。这意味着对poll（）的后续调用之间的时间长于配置的max.poll.int
-
我们有一个基于spring boot的事务性Kafka制作人！使用的版本如下 spring-boot-starter-父-2.3.0。释放 spring-kafka-2.5.0。释放 我们的kafka（集群）版本是2.1. x！ 作为生产者，我们启用了幂等性，定义了事务id前缀，并在事务中执行kafka模板调用。我们还有一个将隔离级别设置为只读的使用者！ 现在我们遇到了一个行为，不知道如何推断，
-
我刚接触Kafka，很少阅读教程。我无法理解使用者和分区之间的关系。 请回答我下面的问题。 > 消费者是否由ZK分配到单个分区，如果是，如果生产者将消息发送到不同的分区，那么其他分区的消费者将如何使用该消息？ 我有一个主题，它有3个分区。我发布消息，它会转到P0。我有5个消费者（不同的消费者群体）。所有消费者都会阅读P0的信息吗？若我增加了许多消费者，他们会从相同的P0中阅读信息吗？如果所有消费者
-
Flink kafka消费者有两种类型的消费者，例如： 这两个消费者层次结构扩展了相同的类。我想知道维护编号类背后的设计决策是什么？我们什么时候应该使用其中一种？ 我注意到带有数字后缀的类有更多的特性（例如ratelimiting）。 https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka