汇合5.0.0 kafka connect hdfs接收器:无法描述升级后kafka connect消费者群体的滞后
我们从ConFluent 4.0.0升级到5.0.0，升级后我们无法列出kafka连接hdfs接收器连接器消费者滞后。
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --group connect-kconn_scribe_log_backend --describe
Note: This will not show information about old Zookeeper-based consumers.
$
kafka 2.0/conFluent 5.0.0中的消费者组命令是否有任何修改？我如何跟踪我们需要根据此滞后发出警报的滞后？我们的代理在kafka 1.1.0版上运行。升级后也无法在kafka管理器中看到连接消费者组。kafka连接没有问题，因为连接器能够写入hdfs。谢谢。
共有1个答案
Kafka Connect HDFS连接器不再提交偏移，因此没有延迟计算的基础。
PS。恢复基于HDFS的文件命名约定，文件名包含分区和偏移信息。
-
是否有一种方法以编程方式访问和打印使用者滞后偏移，或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视，我应该在上面添加哪些语句来得到滞后偏移值？
-
我正在建立一个新的Kafka集群，为了测试目的，我创建了一个有1个分区和3个副本的主题。 有什么想法哪种配置或其他东西可以帮助我消费更多的数据吗？？ 提前致谢
-
我在使用Kafka时遇到了一些问题。非常感谢任何帮助！我在docker swell中分别有zookeeper和kafka集群3个节点。您可以在下面看到Kafka代理配置。 我的情况： < li > 20x位制片人不断向Kafka主题传达信息 < li>1x消费者读取和记录消息 < li >终止kafka节点(docker容器停止)，因此现在群集有2个Kafka代理节点(第3个节点将自动启动并加入群
-
在标准/自定义kafkaconnect接收器中，我们如何指定它应该只使用来自kafka主题的read_comitted消息。我可以在这里看到配置，但看不到任何选项(除非这是默认行为)。谢了。https://docs . confluent . io/current/installation/configuration/connect/sink-connect-configs . html
-
我的消费者配置有kafka批处理侦听器配置和@KafkaListener消耗消息列表。我有一个消费者拦截器，我想为每条记录设置唯一ID，并将其值存储在映射诊断上下文（MDC）中。如果我的kafka侦听器消耗单个消息，则唯一ID是正确的。但是我的kafka侦听器消耗消息列表，因此MDC. get（“id”）只获取最后一个值。如何处理它？我的拦截器；
-
我们有一个基于spring boot的事务性Kafka制作人！使用的版本如下 spring-boot-starter-父-2.3.0。释放 spring-kafka-2.5.0。释放 我们的kafka（集群）版本是2.1. x！ 作为生产者，我们启用了幂等性，定义了事务id前缀，并在事务中执行kafka模板调用。我们还有一个将隔离级别设置为只读的使用者！ 现在我们遇到了一个行为，不知道如何推断，