《kafka》专题
-
Kafka连接集群设置或启动连接工作者
我正在浏览Kafka连接，我试图得到一些概念。 假设我有kafka集群（节点k1、k2和k3）设置并且正在运行，现在我想在不同的节点上运行kafka连接工作器，比如分布式模式下的c1和c2。 很少有问题。 1） 要在分布式模式下运行或启动kafka connect，我需要使用命令，这在kaffa集群节点中可用，所以我需要从任何一个kafka集群节点启动kafka连接？或者我启动kafka conn
-
Kafka Connect将同一任务分配给多个工作人员
我在分布式模式下使用 Kafka Connect。我现在多次观察到的一个奇怪行为是，一段时间后（可能是几个小时，可能是几天），似乎发生了平衡错误：相同的任务被分配给多个工人。因此，它们同时运行，并且根据连接器的性质，失败或产生“不可预测”的输出。 我能够用来重现该行为的最简单配置是：两个 Kafka Connect 工作线程，两个连接器，每个连接器只有一个任务。Kafka Connect 已部署到
-
如何将本地Kafka集群连接到本地Mongodb？
我目前正在做一个小项目，我需要将kafka集群连接到mongodb，以便将发布到kafka主题的消息存储在mongodb数据库中。我目前有一个本地kafka集群，一个sping引导生产者向一个主题发布消息，一个spinger引导消费者在本地使用这些消息。我也在本地安装了mongob指南针……我一直在看教程，我发现我必须使用某种接收器连接器（mongob连接器）来做我想做的事情，但大多数示例都是基于
-
AWS MSK Kafka Connect S3接收器连接器
我们使用S3接收器连接器从MSK自动气象站的S3桶中接收数据。 我们已经在AWS EKS(Kubernetes)上部署了KafkaS3水槽连接器 当我们启动连接器时，当 S3 存储桶上发生分段上传时出现以下错误。 我们对S3存储桶有策略限制，因为启用了服务器端加密（AWS-KMS），即如果没有KMS密钥，我们无法上传。 下面是我们用于连接器的配置，下面是错误详细信息，供您参考。 好心帮忙 {"na
-
汇流Kafka Avro反序列化程序的JAVA版本错误
我有一台装有Java 1.6的服务器。在这里，我需要使用Confluent的< code > KafkaAvroDeserializer 来反序列化avro消息。 问题是: 如果我使用Confluent-1.0（它与Java兼容 如果我使用Confluent-2.0或更高版本，它拥有一切，但它只与java兼容 在这种情况下我该怎么办？ 为了比较： http://docs.confluent.io/
-
实现kafka连接自定义分区程序
我使用confluent的kafka connect将数据传输到s3桶中。基于键进行理想的分区。因为现有的FieldPartitioner只适用于Avro模式记录，而不适用于一般的字符串化JSON文本。我想我应该写我自己的连接器。 课堂是这样的: 当我构建它并尝试运行kafka connect时，我得到了一个错误 从查看打包一个自定义Java'partitioner.class'插件为Kafka连
-
汇合5.0.0 kafka connect hdfs接收器:无法描述升级后kafka connect消费者群体的滞后
我们从ConFluent 4.0.0升级到5.0.0，升级后我们无法列出kafka连接hdfs接收器连接器消费者滞后。 kafka 2.0/conFluent 5.0.0中的消费者组命令是否有任何修改？我如何跟踪我们需要根据此滞后发出警报的滞后？我们的代理在kafka 1.1.0版上运行。升级后也无法在kafka管理器中看到连接消费者组。kafka连接没有问题，因为连接器能够写入hdfs。谢谢。
-
有哪些开源解决方案可以使用Kafka Connect将数据从Kafka移动到HDFS3？
除了Confluent HDFS库（非开源），是否有任何完全开源的库可以将消息从Kafka（使用Kafka Connect）移动到HDFS 3？ Kafka Connect HDFS 2 Sink-汇流社区许可证 Kafka Connect HDFS 3 Sink-融合企业许可证 相关：需要使用Kakfa Connect将小型JSON消息从Kafka移动到HDFS，但如果不完全免费使用Conflu
-
Aerospike kafka源连接器
我已经使用Kafka的汇流本地集群为Kaffa和m安装了Aerospike所需的所有配置，并已安装https://www.confluent.io/hub/aerospike/kafka-connect-aerospike-source并已开始汇流群集，但连接器仍未启动 我还发现合流的共享文件夹中没有jar，它还在开发中吗？
-
Kafka连接消息排序
Kafka 接收器连接器如何在从分区提取消息时确保消息排序。我有多个分区，并且在发布每个分区带有哈希键的消息时确保了消息排序。现在，当多个接收器任务（及其工作线程）从多个 JVM 扩展，负责从同一分区获取消息并通过 HTTP 通知目标系统时，我如何保证目标系统将按顺序接收消息。
-
Kafka Connect分布式tasks.max配置设置的理想值？
我希望产品化并部署我的Kafka Connect应用程序。然而，我对任务有两个问题。最大值设置，这是必需的，非常重要，但具体设置该值的具体内容很模糊。 如果我有一个包含n个分区的主题，我希望从中使用数据并将其写入某个接收器（在我的情况下，我正在写入S3），那么我应该设置什么任务。最大值到？我应该把它设置为n吗？我应该把它设置为2n吗？直觉上，我似乎想将值设置为n，这就是我一直在做的。 如果我更改我
-
在 Kafka 连接源连接器中使用消息密钥
我正在使用Kafka连接JDBC源连接器从数据库中的视图中读取并将其发布在kafka上，它工作正常。 我的用例是用户可以创建多个对象，并且对象的顺序在我的应用程序中很重要。我想使用用户 ID 作为我发布到主题中的所有消息的消息密钥，以保持它们的顺序。 我的问题是，如何在Kafka connect source连接器中定义消息键？
-
使用Kafka Connect从IBMMQ读取时保留消息顺序
当使用Kafka Connect IBM MQ Source Connector使用5个任务的并行级别从IMB MQ读取时，是否可以保留消息顺序(将具有相同键的消息分配给相同的分区)？
-
Kafka Connect中的多消息转换
我有Kafka-Connect，我需要将其与REST API集成，该API在使用单输入多数据模型调用时效果最好。 想象一下以下内容： 源主题- Kafka源主题： REST请求： REST响应： Kafka Sink主题： 所以我想在给定的时间范围内转换多个消息。 Kafka-Connect转换（https://docs.confluent.io/current/connect/transform
-
Kafka Connect中的连接器和任务是什么关系？
我们已经在一个项目中使用 Kafka Connect 一段时间了，目前完全只使用 Confluent Kafka Connect JDBC 连接器。我正在努力理解“任务”在Kafka Connect中的作用，特别是这个连接器。我了解“连接器”;它们包含有关特定源/接收器以及它们连接的主题的一系列配置。我知道连接器和任务之间存在 关系，以及任务用于并行化工作的一般原则。但是，我们如何理解连接器何时将