Kafka S3 源连接器
我有一个需求，即我们应用程序之外的源将在S3存储桶中放置一个文件，我们必须在kafka主题中加载该文件。我正在查看ConFluent的S3 Source连接器，目前正在努力定义在我们的环境中设置连接器的配置。但是有几篇文章指出，只有在您使用S3 Sink连接器将文件放在S3中时，才能使用S3 Source连接器。
以上是真的吗？在配置中，我在哪里/使用什么属性来定义输出主题？当阅读S3的文章并把它们放入主题时，这些信息能被转换吗？两者都将是JSON / Avro格式。
Confluent的快速启动示例还假设您使用了S3接收器连接器，因此提出了这个问题。
谢谢你
共有2个答案
截至2021年12月15日的汇合发布版本2.0.0。该版本包括通用s3源连接模式
我收到了汇合的回应，这是真的，汇合S3源连接器只能与汇合S3接收器连接器一起使用。它不能独立使用
-
我有使用Protobuf制作的主题事件。我可以使用Parquet格式的S3 sink连接器将主题事件成功地汇到S3存储桶中。现在我的S3存储桶中有和。使用以下配置，所有这些都按预期工作： 现在，我想使用Protobuf将< code > my-bucket-123 (< code > parquet 格式)的键和值放回到Kafka主题中。为此，我使用以下配置通过汇合设置了一个新的S3源连接器(<
-
我在 AWS S3 中备份了以下文件，这些文件由 Kafka 连接接收器连接器备份： 当使用Kafka connect S3源恢复主题时，密钥文件被忽略，我在日志中看到以下调试消息: 我的源配置如下所示： 我应该做什么改变才能让密钥和消息一起存储在Kafka中？
-
我已经使用Kafka的汇流本地集群为Kaffa和m安装了Aerospike所需的所有配置，并已安装https://www.confluent.io/hub/aerospike/kafka-connect-aerospike-source并已开始汇流群集，但连接器仍未启动 我还发现合流的共享文件夹中没有jar，它还在开发中吗？
-
我使用kafka connect从mongo读取数据并将其写入kafka主题。 我正在使用 mongo kafka 源连接器。 我收到以下错误： 罐子里好像有一个小盒子。为了得到这个罐子，我使用了两种不同的方法，但是我得到了同样的错误。首先，我使用了下载的from:maven资源库，然后我从github repo中克隆了源代码，并自己构建了jar。我将jar推到plugins.path中，当我解压
-
我正在使用Kafka连接JDBC源连接器从数据库中的视图中读取并将其发布在kafka上，它工作正常。 我的用例是用户可以创建多个对象，并且对象的顺序在我的应用程序中很重要。我想使用用户 ID 作为我发布到主题中的所有消息的消息密钥，以保持它们的顺序。 我的问题是，如何在Kafka connect source连接器中定义消息键？
-
我已经使用kafka source connector将文档从Couchbase传输到kafka。这些文档然后被复制到Mongo DB。 沙发底座 -- 如果源连接器关闭，那么如何再次将所有文档同步到 Kafka？ 有没有什么get和touch功能可以将kafka主题在关闭期间所做的所有更改都显示出来？