如何为Kafka连接器启用jmx度量?我正在运行分布式连接。
我通过在Kafka run class.sh
中启用jmx_PORT
,为Kafka启用了jmx度量。
现在,尽管它已经开始为我提供很多与 Kafka 相关的指标,但我仍然看不到以下链接 http://kafka.apache.org/documentation.html#connect_monitoring 中提到的连接器特定指标。
下列域可用
问评论中提到的问题 - 您确定您连接到正确的 Java 实例而不是 Kafka 代理 JMX 指标吗?因为 kafka.server
和 kafka.controller
都不应该用于 ConnectDistributed 进程。(您应该查看所连接的进程的主类)
只有一个属性,< code>JMX端口,它由Kafka代理和Kafka连接器(以及Zookeeper、Schema Registry、KSQL等)共享...如果您不为每个进程使用不同的端口,那么您尝试运行的下一个进程将无法启动,表示某个端口已经打开
如果您有可用的硬件,或者可以在一台机器(Docker或VM)上隔离组件,那么这是重新映射端口的一种简单方法。
否则,你需要做一些类似的事情
export JMX_PORT=35000 # pick a number
zookeeper-server-start...
export JMX_PORT=35001 # pick a number
kafka-server-start...
export JMX_PORT=35002 # pick a number
connect-distributed...
然后,连接到每个 JVM 的相应端口
然后,当你对此感到满意时,我建议找到关于生产部署设置的Confluent白皮书,其中Connect至少(与所有其他生产者和消费者一样)正在实际的代理上运行。
我正在尝试导出kafka连接指标。我的解决方案包括运行jmx导出器,并在endpoint处公开它们,然后可以使用Prometheus擦除。现在,我可以对我尝试过的所有指标都这样做,但对于一组指标,它不起作用。我对这组指标的导出配置如下 根据官方文档,这些指标的定义如下所示: 我想模式选择有问题,但我无法弄清楚是什么。请提供任何帮助或建议!!
如何启用Kafka源连接器等幂特性? 我知道在合流中,我们可以通过< code >生成器覆盖生成器配置。*属性,但是Kafka本身呢?是一样的吗? 设置这些配置后,我在哪里可以看到我的连接工作者的应用配置?
下面是/etc/kafka/connect-MongoDB-source.properties中的MongoDB配置 但是低于误差 以独立模式运行连接器。 我在debezium-debezium-连接器-mongob-1.0.0/debezium-connector-mongodb-1.0.0.Final.jar 类路径的设置如下 使用插件路径,我看到它能够注册和加载所有必需的插件。 但最后还是同
问题内容: 我正在尝试打开与远程计算机上运行的Java应用程序的JMX连接。 应用程序JVM配置有以下选项: com.sun.management.jmxremote com.sun.management.jmxremote.port = 1088 com.sun.management.jmxremote.authenticate = false com.sun.management.jmxrem
我使用的是和连接器jar版本为0.10.2,kafka版本为0.9.1,flink版本为1.0.0。 当我在IDE中作为独立的主程序运行Java消费者时,它工作得很好。但是当我从运行它时,我不会看到正在使用的消息,也不会看到中JobManager的stdout中的任何日志。请告诉我可能有什么问题。
我无法导出合流连接服务的“type=connector-metrics”指标,但其他指标工作正常。 我正在使用Prometheus导出器java代理来公开来自Confluent connect的指标,如下所示。 export KAFKA_OPTS='-javaagent:/opt/prometheus/jmx_prometheus_javaagent-0.12.0.jar=8093:/opt/普罗