Kafka-connect文件接收器连接器以拼花文件格式写入
我正在寻找Kafka连接连接器，将写从Kafka到本地文件系统的拼花文件格式。我不想使用hdfs或s3接收器连接器进行同样的操作。
共有1个答案
<代码>格式。class=ParquetFormat仅存在于提及的连接器中
您可以使用前缀来写入本地磁盘，或者使用类似MinIO的项目来复制自托管S3
-
我正在尝试使用Kafka-connect来消耗Kafka的消息并将它们写入s3拼花文件。所以我写了一个简单的生产者，它用byte[]生成消息 我的Kafka连接配置是： 这是我得到的错误： 原因：java。lang.IllegalArgumentException:Avro架构必须是记录。在org。阿帕奇。拼花地板阿夫罗。AvroSchemaConverter。转换（AvroSchemaConve
-
我正在尝试将来自主题的数据（json数据）写入MySql数据库。我想我需要一个JDBC接收器连接器。 我如何配置连接器以将主题中的json数据映射到如何将数据插入数据库。 我能找到的文件只有这个。 “接收器连接器需要了解架构，因此您应该使用合适的转换器，例如架构注册表附带的Avro转换器，或启用了架构的JSON转换器。如果存在Kafka记录键，则可以是基元类型或连接结构，记录值必须是连接结构。从连
-
使用Kafka Connect HDFS Sink，我能够将avro数据写入Kafka主题并将数据保存在hive/hdfs中。 我正在尝试使用格式类以拼花文件格式保存数据 快速启动hdfs。属性如下 当我将数据发布到Kafka时，表在hive中创建，test\u hdfs\u parquet目录在hdfs中创建，但由于以下异常，Sink无法以parquet格式保存数据
-
我们使用S3接收器连接器从MSK自动气象站的S3桶中接收数据。 我们已经在AWS EKS(Kubernetes)上部署了KafkaS3水槽连接器 当我们启动连接器时，当 S3 存储桶上发生分段上传时出现以下错误。 我们对S3存储桶有策略限制，因为启用了服务器端加密（AWS-KMS），即如果没有KMS密钥，我们无法上传。 下面是我们用于连接器的配置，下面是错误详细信息，供您参考。 好心帮忙 {"na
-
我正在尝试使用Kafka连接接收器将文件从Kafka写入HDFS。 我的属性看起来像： 有什么建议吗？
-
我需要关于Kafka主题的帮助，我想将其放入拼花格式的HDFS中（与daily partitionner）。 我在Kafka主题中有很多数据，基本上都是json数据，如下所示： 本主题的名称为：测试 我想将这些数据以拼花格式放入我的HDFS集群中。但是我在接收器连接器配置方面遇到了困难。为此，我使用了融合的hdfs-shin-连接器。 以下是我迄今为止所做的工作： 关于为什么我这样配置连接器的一些