Kafka连接S3-JSON到拼花
Kafka是否将S3支持从JSON连接到Parquet？感谢使用Kafka Connect S3提供的可用和替代建议
共有1个答案
Kafka是否将S3支持从JSON连接到Parquet？
不，它没有。根据文档页面：
您必须在S3 Sink连接器中使用带有ParquetFormat的AvroConverter。尝试使用JsonConverter（有或没有模式）将导致运行时异常。
您可以使用ksqlDB首先将您的数据存储到Avro中，例如：
CREATE STREAM source (COL1 VARCHAR, COL2 INT, COL3 BIGINT) WITH (VALUE_FORMAT='JSON', KAFKA_TOPIC='my_source_topic');
CREATE STREAM target WITH (KAFKA_TOPIC='my_target_topic', VALUE_FORMAT='AVRO') AS SELECT * FROM source;
完成后，您可以使用拼花格式将my\u target\u主题下沉到S3（您甚至可以使用ksqlDB创建下沉连接器…）
-
我看到Kafka Connect可以以Avro或JSON格式写入S3。但是没有Parket支持。添加这个有多难？
-
我正在尝试使用Kafka-connect来消耗Kafka的消息并将它们写入s3拼花文件。所以我写了一个简单的生产者，它用byte[]生成消息 我的Kafka连接配置是： 这是我得到的错误： 原因：java。lang.IllegalArgumentException:Avro架构必须是记录。在org。阿帕奇。拼花地板阿夫罗。AvroSchemaConverter。转换（AvroSchemaConve
-
我尝试使用最新的kafka (confluent-platform-2.11)连接将Json放到s3上。我在quickstart-s3.properties文件中设置format . class = io . confluent . connect . S3 . format . JSON . JSON format 和负载连接器: 然后我给Kafka发了一行: ~$ Kafka-控制台-生产者
-
如果我错了，请纠正我。。拼花文件是自描述的，这意味着它包含正确的模式。 我想使用S3接收器融合连接器（特别是因为它正确处理了S3的精确一次语义）从我们的Kafka中读取JSON记录，然后在s3中创建拼花文件（按事件时间分区）。我们的JSON记录没有嵌入模式。 我知道它还不被支持，但我对拼花地板和AVRO也有一些问题。 由于我们的JSON记录中没有嵌入模式，这意味着连接器任务必须从它自己的JSON字
-
我有一个需求，即我们应用程序之外的源将在S3存储桶中放置一个文件，我们必须在kafka主题中加载该文件。我正在查看ConFluent的S3 Source连接器，目前正在努力定义在我们的环境中设置连接器的配置。但是有几篇文章指出，只有在您使用S3 Sink连接器将文件放在S3中时，才能使用S3 Source连接器。 以上是真的吗？在配置中，我在哪里/使用什么属性来定义输出主题？当阅读S3的文章并把它
-
我在 AWS S3 中备份了以下文件，这些文件由 Kafka 连接接收器连接器备份： 当使用Kafka connect S3源恢复主题时，密钥文件被忽略，我在日志中看到以下调试消息: 我的源配置如下所示： 我应该做什么改变才能让密钥和消息一起存储在Kafka中？