当前位置: 首页 > 知识库问答 >
问题:

Kafka消费群体指标java

邴宏大
2023-03-14

我们希望获得Kafka消费群体指标(例如,节流和字节率)。

我们已经使用以下工具完成了此操作:

  1. Kafka消费者Java应用程序的JMX Mbean
  2. CLI实用程序

bin/kafka-consumer-groups.sh--描述--组group_name--bootstrap-serverlocalhost: port

.

问题:这可以通过使用一些Java库以编程方式完成吗?

到目前为止,我们已经尝试

kafka.admin.ConsumerGroupCommand

bin/kafka bin/kafka-consumer-groups.sh也使用它,但我们只得到期望值的子集。

谢谢你的帮助。

共有1个答案

百里秋月
2023-03-14

您可以为消费者提供一个metric.reporters配置,该配置指向一个或多个实现org.apache.kafka.common.metrics.MetricsReport的类。来自Kafka源代码:

用作度量报告器的类的列表。实现组织。阿帕奇。Kafka。常见的韵律学。MetricsReporter接口允许插入将被通知创建新度量的类。始终包含JmxReporter以注册JMX统计信息。

还有几个项目可以为各种监控系统(如Prometheus)导出JMX度量。

 类似资料:
  • 我是Kafka的新手,正在学习Kafka内部知识。请根据需要随时更正我的理解。。 这是我的实时场景..感谢所有的回复: 我有一个接收数据文件的实时FTP服务器…比如索赔文件。 我将把这些数据发布到一个主题中.让我们把这个主题称为claims_topic(2个分区). 我需要订阅这个claims_topic,阅读消息并将它们写入Oracle和Postgres表。让我们将oracle表称为Otable

  • 我在使用Kafka时遇到了一些问题。非常感谢任何帮助!我在docker swell中分别有zookeeper和kafka集群3个节点。您可以在下面看到Kafka代理配置。 我的情况: < li > 20x位制片人不断向Kafka主题传达信息 < li>1x消费者读取和记录消息 < li >终止kafka节点(docker容器停止),因此现在群集有2个Kafka代理节点(第3个节点将自动启动并加入群

  • 我们在Kubernetes中基于<code>gcr.io/google_containers/Kubernetes-Kafka:1.0-10.2.1</code>docker映像运行一个Kafka集群,使用<code>gcr.io/google_containers/Kubernetes-zookeeper:1.0-3.4.10</code>,使用三个Kafka和zookeer实例。 我们有几个不

  • 我运行这个命令: kafka使用者组--引导服务器localhost:9092--组我的使用者组--重置偏移量--最早--执行--主题my-topic-1 它给出了错误: 命令的语法不正确。 根据此命令的帮助结果,我键入的内容似乎是正确的。 我在这里犯了什么错误?

  • 当我只打开一次处理时,我会得到以下错误。注意:我们的应用程序非常安全,我们只允许Kafka用户和消费者访问他们明确需要的资源。 只有一次处理kafka流是否在所有流任务中使用每个流任务的消费者组而不是消费者组?

  • 我正在阅读Kafka常见问题解答,他们如下所示。 •每个分区不会被每个使用者组中的多个使用者线程/进程使用。这允许每个进程以单线程方式使用,以保证分区内的使用者的顺序(如果我们将有序消息分割成一个分区并将它们传递给多个使用者,即使这些消息是按顺序存储的,它们有时也会被无序地处理)。 有没有可能,