从Kafka连接到S3的拼花输出
我看到Kafka Connect可以以Avro或JSON格式写入S3。但是没有Parket支持。添加这个有多难？
共有3个答案
尝试secor：https://github.com/pinterest/secor
可以与AWS S3、谷歌云、Azure的blob存储等一起使用。
请注意，您选择的解决方案必须具有以下关键功能：保证每个消息只写一次、负载分布、容错、监视、分区数据等。
Secor拥有一切，如上所述，可以轻松地与其他“s3”风格的服务配合使用。。
Qubole连接器支持写出拼花地板-https://github.com/qubole/streamx
从ConFluent 5.4.0开始，官方支持Parket输出到S3。
-
Kafka是否将S3支持从JSON连接到Parquet？感谢使用Kafka Connect S3提供的可用和替代建议
-
我正在尝试使用Kafka-connect来消耗Kafka的消息并将它们写入s3拼花文件。所以我写了一个简单的生产者，它用byte[]生成消息 我的Kafka连接配置是： 这是我得到的错误： 原因：java。lang.IllegalArgumentException:Avro架构必须是记录。在org。阿帕奇。拼花地板阿夫罗。AvroSchemaConverter。转换（AvroSchemaConve
-
如果我错了，请纠正我。。拼花文件是自描述的，这意味着它包含正确的模式。 我想使用S3接收器融合连接器（特别是因为它正确处理了S3的精确一次语义）从我们的Kafka中读取JSON记录，然后在s3中创建拼花文件（按事件时间分区）。我们的JSON记录没有嵌入模式。 我知道它还不被支持，但我对拼花地板和AVRO也有一些问题。 由于我们的JSON记录中没有嵌入模式，这意味着连接器任务必须从它自己的JSON字
-
我有以Avro格式存储的Kafka主题。我想使用整个主题（在收到时不会更改任何消息）并将其转换为Parket，直接保存在S3上。 我目前正在这样做，但它要求我每次消费一条来自Kafka的消息，并在本地机器上处理，将其转换为拼花文件，一旦整个主题被消费，拼花文件完全写入，关闭写入过程，然后启动S3多部分文件上传。或《Kafka》中的阿夫罗- 我想做的是《Kafka》中的阿夫罗- 注意事项之一是Kaf
-
我有使用Protobuf制作的主题事件。我可以使用Parquet格式的S3 sink连接器将主题事件成功地汇到S3存储桶中。现在我的S3存储桶中有和。使用以下配置，所有这些都按预期工作： 现在，我想使用Protobuf将< code > my-bucket-123 (< code > parquet 格式)的键和值放回到Kafka主题中。为此，我使用以下配置通过汇合设置了一个新的S3源连接器(<
-
我尝试使用最新的kafka (confluent-platform-2.11)连接将Json放到s3上。我在quickstart-s3.properties文件中设置format . class = io . confluent . connect . S3 . format . JSON . JSON format 和负载连接器: 然后我给Kafka发了一行: ~$ Kafka-控制台-生产者