kafka connect hdfs接收器连接器失败
我正在尝试使用Kafka连接接收器将文件从Kafka写入HDFS。
我的属性看起来像：
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
flush.size=3
format.class=io.confluent.connect.hdfs.parquet.ParquetFormat
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
schema.compatability=BACKWARD
key.converter.schemas.enabled=false
value.converter.schemas.enabled=false
schemas.enable=false
有什么建议吗？
共有1个答案
我对这个问题的理解是，如果您设置了schemas.enable=true，就会告诉kafka您希望将该模式包含到kafka必须传输的消息中。在本例中，kafka消息没有纯json格式。相反，它首先描述模式，然后附加对应于模式的有效负载（即实际数据）（阅读关于AVRO格式化的内容）。这就导致了冲突：一方面，您为数据指定了JsonConverter，另一方面，您要求kafka将模式包含到消息中。要解决这个问题，您可以使用带有schemas.enable=true的AvroConverter或带有schemas.enable=false的JsonCOnverter。
-
我正在尝试将来自主题的数据（json数据）写入MySql数据库。我想我需要一个JDBC接收器连接器。 我如何配置连接器以将主题中的json数据映射到如何将数据插入数据库。 我能找到的文件只有这个。 “接收器连接器需要了解架构，因此您应该使用合适的转换器，例如架构注册表附带的Avro转换器，或启用了架构的JSON转换器。如果存在Kafka记录键，则可以是基元类型或连接结构，记录值必须是连接结构。从连
-
我设置了一个Kafka JDBC接收器以将事件发送到PostgreSQL。我编写了这个简单的生产者，它将带有模式（avro）数据的JSON发送到一个主题，如下所示： producer.py（kafka-python） 价值架构： 连接器配置（无主机、密码等） 但我的连接器出现严重故障，有三个错误，我无法找出其中任何一个错误的原因： TL；博士；日志版本 完整日志 有人能帮我理解这些错误和潜在的原因
-
我有一个kafka主题，有200万条消息，我的刷新大小是100000，默认分区为分布式模式，有4个工作者，我可以看到数据在几秒钟内立即写入HDFS（10到15秒）。 我看到创建了一个+tmp目录和文件夹，并且每次触发一个新连接器时都会创建主题。 kafka connect的行为是每次都写得这么快，还是已经将数据存储在HDFS中，并根据连接器属性将其移动到主题目录？ 我需要清楚这是怎么发生的。如果我
-
我有一个Kafka连接接收器记录从Kafka主题到S3。它在工作，但太慢了。Kafka主题每秒接收约30000条消息。连接接收器无法跟上。我已经尝试增加Kafka连接器的任务。最大值从1到3，这会创建更多任务，但这似乎无助于提高消息/秒的速度。我试着增加Kafka连接工人的CPU分配，这似乎也没有帮助。 我还能试什么？哪些指标有助于监控以进一步识别瓶颈？ 更新：Kafka主题有5个分区。Kafka
-
我们使用S3接收器连接器从MSK自动气象站的S3桶中接收数据。 我们已经在AWS EKS(Kubernetes)上部署了KafkaS3水槽连接器 当我们启动连接器时，当 S3 存储桶上发生分段上传时出现以下错误。 我们对S3存储桶有策略限制，因为启用了服务器端加密（AWS-KMS），即如果没有KMS密钥，我们无法上传。 下面是我们用于连接器的配置，下面是错误详细信息，供您参考。 好心帮忙 {"na
-
我有Kafka主题，有多种类型的消息流入并使用Kafka Connect写入弹性搜索。流看起来不错，直到我不得不将唯一的消息集分离到唯一的索引中。也就是说，我必须根据字段(JSON消息)为新的数据集获取新的索引。 我如何配置/定制Kafka connect以实现同样的功能？每个消息都包含一个表示消息类型和时间戳的字段。 示例 Json 如下所示： Sample1： {“log”：{“data”：“