启用kafka源连接器幂等性
如何启用Kafka源连接器等幂特性？
我知道在合流中，我们可以通过< code >生成器覆盖生成器配置。*属性，但是Kafka本身呢？是一样的吗？
设置这些配置后，我在哪里可以看到我的连接工作者的应用配置？
共有1个答案
ConFluent不会修改基本的Kafka Connect属性。
对于Kafka源任务使用的生产者和Kafka接收器任务使用的消费者的配置，可以使用相同的参数，但需要分别以生产者和消费者为前缀。
从2.3.0开始，客户端配置覆盖可以通过分别使用Kafka源或Kafka接收器的前缀producer.override.和consumer.override.为每个连接器单独配置
https://kafka.apache.org/documentation/#connect_running
然而，Kafka Connect的来源并不可靠-Kafka-7077
设置这些配置后，我可以在哪里看到我的连接工作器的应用配置
在日志中，它应该在任务启动时显示 ProducerConfig 或 ConsumerConfig。
-
我已经使用Kafka的汇流本地集群为Kaffa和m安装了Aerospike所需的所有配置，并已安装https://www.confluent.io/hub/aerospike/kafka-connect-aerospike-source并已开始汇流群集，但连接器仍未启动 我还发现合流的共享文件夹中没有jar，它还在开发中吗？
-
我有一个需求，即我们应用程序之外的源将在S3存储桶中放置一个文件，我们必须在kafka主题中加载该文件。我正在查看ConFluent的S3 Source连接器，目前正在努力定义在我们的环境中设置连接器的配置。但是有几篇文章指出，只有在您使用S3 Sink连接器将文件放在S3中时，才能使用S3 Source连接器。 以上是真的吗？在配置中，我在哪里/使用什么属性来定义输出主题？当阅读S3的文章并把它
-
Kafka文件说，幂等生产者是可能的，与相同的生产者会话，我无法理解这一点。 比方说，Kafka为每条消息添加序列号，最后一个序列号在Kafka中维护（不确定它维护在哪里）。 它是如何生成序列号的，它保存在哪里？ 为什么当制作人崩溃并再次出现时，它不能保持序列？ 我怎样才能使它在制作人会话之间真正幂等？
-
我在 AWS S3 中备份了以下文件，这些文件由 Kafka 连接接收器连接器备份： 当使用Kafka connect S3源恢复主题时，密钥文件被忽略，我在日志中看到以下调试消息: 我的源配置如下所示： 我应该做什么改变才能让密钥和消息一起存储在Kafka中？
-
如何为Kafka连接器启用jmx度量？我正在运行分布式连接。 我通过在中启用，为Kafka启用了jmx度量。 现在，尽管它已经开始为我提供很多与 Kafka 相关的指标，但我仍然看不到以下链接 http://kafka.apache.org/documentation.html#connect_monitoring 中提到的连接器特定指标。 下列域可用 JM实施 com.sun公司。管理 java
-
我使用kafka connect从mongo读取数据并将其写入kafka主题。 我正在使用 mongo kafka 源连接器。 我收到以下错误： 罐子里好像有一个小盒子。为了得到这个罐子，我使用了两种不同的方法，但是我得到了同样的错误。首先，我使用了下载的from:maven资源库，然后我从github repo中克隆了源代码，并自己构建了jar。我将jar推到plugins.path中，当我解压