Kafka-连接。如何为连接器启用jmx度量
如何为Kafka连接器启用jmx度量？我正在运行分布式连接。
我通过在Kafka run class.sh中启用jmx_PORT，为Kafka启用了jmx度量。
现在，尽管它已经开始为我提供很多与 Kafka 相关的指标，但我仍然看不到以下链接 http://kafka.apache.org/documentation.html#connect_monitoring 中提到的连接器特定指标。
下列域可用
- JM实施
- com.sun公司。管理
- java。语言
- java。尼奥
- java.util。日志
- Kafka
- Kafka。群集
- Kafka。控制器
- kafka.协调员。组
- kafka.协调员。事务
- Kafka。日志
- Kafka。网络
- Kafka。服务器
- Kafka实用程序
共有1个答案
问评论中提到的问题 - 您确定您连接到正确的 Java 实例而不是 Kafka 代理 JMX 指标吗？因为 kafka.server 和 kafka.controller 都不应该用于 ConnectDistributed 进程。（您应该查看所连接的进程的主类）
只有一个属性，< code>JMX端口，它由Kafka代理和Kafka连接器(以及Zookeeper、Schema Registry、KSQL等)共享...如果您不为每个进程使用不同的端口，那么您尝试运行的下一个进程将无法启动，表示某个端口已经打开
如果您有可用的硬件，或者可以在一台机器(Docker或VM)上隔离组件，那么这是重新映射端口的一种简单方法。
否则，你需要做一些类似的事情
export JMX_PORT=35000 # pick a number
zookeeper-server-start...
export JMX_PORT=35001 # pick a number
kafka-server-start...
export JMX_PORT=35002 # pick a number
connect-distributed...
然后，连接到每个 JVM 的相应端口
然后，当你对此感到满意时，我建议找到关于生产部署设置的Confluent白皮书，其中Connect至少（与所有其他生产者和消费者一样）正在实际的代理上运行。
-
我正在尝试导出kafka连接指标。我的解决方案包括运行jmx导出器，并在endpoint处公开它们，然后可以使用Prometheus擦除。现在，我可以对我尝试过的所有指标都这样做，但对于一组指标，它不起作用。我对这组指标的导出配置如下 根据官方文档，这些指标的定义如下所示： 我想模式选择有问题，但我无法弄清楚是什么。请提供任何帮助或建议！！
-
如何启用Kafka源连接器等幂特性？ 我知道在合流中，我们可以通过< code >生成器覆盖生成器配置。*属性，但是Kafka本身呢？是一样的吗？ 设置这些配置后，我在哪里可以看到我的连接工作者的应用配置？
-
下面是/etc/kafka/connect-MongoDB-source.properties中的MongoDB配置 但是低于误差 以独立模式运行连接器。 我在debezium-debezium-连接器-mongob-1.0.0/debezium-connector-mongodb-1.0.0.Final.jar 类路径的设置如下 使用插件路径，我看到它能够注册和加载所有必需的插件。 但最后还是同
-
问题内容： 我正在尝试打开与远程计算机上运行的Java应用程序的JMX连接。 应用程序JVM配置有以下选项： com.sun.management.jmxremote com.sun.management.jmxremote.port = 1088 com.sun.management.jmxremote.authenticate = false com.sun.management.jmxrem
-
我使用的是和连接器jar版本为0.10.2，kafka版本为0.9.1，flink版本为1.0.0。 当我在IDE中作为独立的主程序运行Java消费者时，它工作得很好。但是当我从运行它时，我不会看到正在使用的消息，也不会看到中JobManager的stdout中的任何日志。请告诉我可能有什么问题。
-
有没有办法通过Kafka Connect S3接收器连接器标记写入S3存储桶的对象。我正在读取来自Kafka的消息，并使用S3接收器连接器将avro文件写入S3存储桶。当文件写入S3存储桶时，我需要标记文件。