《kafka》专题

如果我错了，请纠正我。。拼花文件是自描述的，这意味着它包含正确的模式。 我想使用S3接收器融合连接器（特别是因为它正确处理了S3的精确一次语义）从我们的Kafka中读取JSON记录，然后在s3中创建拼花文件（按事件时间分区）。我们的JSON记录没有嵌入模式。 我知道它还不被支持，但我对拼花地板和AVRO也有一些问题。 由于我们的JSON记录中没有嵌入模式，这意味着连接器任务必须从它自己的JSON字

Kafka是否将S3支持从JSON连接到Parquet？感谢使用Kafka Connect S3提供的可用和替代建议

我有一个Kafka主题，我想用AVRO数据（目前是JSON）来填充它。我知道“正确”的方法是使用模式注册表，但出于测试目的，我想让它在没有它的情况下工作。 因此，我将AVRO数据作为数组[字节]发送，而不是常规的Json对象： 模式是在每个数据中启动的；我如何使它与kafka-connect一起工作？kafka-connect配置目前表现出以下属性（数据作为json.gz文件写入s3），我想编写P

在Kafka中有没有办法使用XML源并将其转换为JSON，然后将JSON数据发送给Kafka进行接收？ 我在《Kafka连接》中见过Avro和Protobuf作为转换器？他们能够将XML转换为JSON吗？或者他们会转换为AVRO、Protobuf特定格式而不是JSON？

我们有一个Kafka集群（作为第3方托管服务），它启用了SSL。我们现在尝试使用第3方Sink（WePay BigQuery连接器）设置Kafka Connect（Conflow ent 5.0）。当在独立模式下启动Kafka连接时，一切都像魅力一样工作。不幸的是，当启用分布式模式时，Kafka Connect突然失败，并出现以下情况： 尝试在Google上查找特定错误，但找不到任何内容。它看起来

我正在自己开发一个Kafka接收器连接器。我的反序列化程序是JSONConverter。然而，当有人将错误的JSON数据发送到我的连接器主题时，我希望省略此记录，并将此记录发送到我公司的特定主题。 我的困惑是：我找不到任何API让我得到我的连接的bootstrap.servers.（我知道它在融合的etc目录，但它不是一个好主意，编写硬代码的目录connect-distributed.proper

我在JDK 11中使用scalaSpark Streaming Kafka。但是我得到了下面的错误。 线程“main”java中出现异常。lang.NoSuchMethodError：scala。Predef美元。refArrayOps（[Ljava/lang/Object；）Lscala/collection/mutable/ArrayOps； 下面是我正在使用的代码。 下面是我的pom。xml

我必须把我的CDC从Aurora mysql db更改为MSK kafka主题。我认为在aws中没有像DMS这样的内置机制，它会将所有CDC从Aurora转移到MSK主题，在他们的文档中，他们没有提到对此的任何支持。 所以我只剩下使用开源的东西了。为了使用它，我有几个问题，请帮助我。 > 我正在进行一些搜索，到处都可以看到kafka-connect-jdbc。那么首先这是这个开源免费许可证吗？ 我

我正在AWS中使用Kafka MSK。因此，我们没有原生kafka连接到所有必需的连接器，例如confluent。实际上，我使用kakfa mongo连接器，我想找到一种方法，将kafka mongo连接器jar推送到kafka MSK集群实例上。jar将被推送到的路径是插件。所用连接器的属性中定义的路径。 有什么办法吗？

我有一个Kafka连接接收器记录从Kafka主题到S3。它在工作，但太慢了。Kafka主题每秒接收约30000条消息。连接接收器无法跟上。我已经尝试增加Kafka连接器的任务。最大值从1到3，这会创建更多任务，但这似乎无助于提高消息/秒的速度。我试着增加Kafka连接工人的CPU分配，这似乎也没有帮助。 我还能试什么？哪些指标有助于监控以进一步识别瓶颈？ 更新：Kafka主题有5个分区。Kafka

我正在尝试在windows上的kafka中配置sqlserver debezium connector，为此，我从这里下载了连接器，并在C:\kafka_2.11-2.4.0位置设置kafka 在其中创建了一个名为plugins的文件夹，并将下载的jar复制到plugins文件夹中。 之后创建了worker。属性和sqlserverconnector。配置文件夹中的属性文件具有以下配置 worke

我有一个应用程序，它定期生成原始JSON消息数组。我能够使用avro-tools将其转换为Avro。我这样做是因为由于Kafka-Connect JDBC接收器的限制，我需要消息包含模式。我可以在记事本上打开这个文件，看到它包括模式和几行数据。 现在，我想将其发送到我的中央Kafka代理，然后使用Kafka Connect JDBC接收器将数据放入数据库。我很难理解我应该如何将这些Avro文件发送

我需要从Kafka主题中读取JSON序列化消息，将其转换为拼花，并在S3中持久化。 出身背景 官方S3接收器连接器支持拼花输出格式，但： 您必须为此连接器使用AvroConverter、Pro bufConverter或带有ParquetFormat的JsonSchemaConverter。尝试使用JsonConverter（带或不带模式）会导致NullPointerException和Stack

我有一个环境，我使用一个Kafka Connect Worker，它使用Oracle数据库中的一些数据，然后将其推送到Avro格式的Kafka主题中。 现在，我需要创建一个Kafka连接接收器来使用这个AVRO消息，将其转换为Json，然后将其写入Redis数据库。 到目前为止，我只能在Redis上写我在topic中使用的同样的AVRO消息。我曾尝试使用转换器，但可能误解了其用法。 吼我的工人和水

我需要关于Kafka主题的帮助，我想将其放入拼花格式的HDFS中（与daily partitionner）。 我在Kafka主题中有很多数据，基本上都是json数据，如下所示： 本主题的名称为：测试 我想将这些数据以拼花格式放入我的HDFS集群中。但是我在接收器连接器配置方面遇到了困难。为此，我使用了融合的hdfs-shin-连接器。 以下是我迄今为止所做的工作： 关于为什么我这样配置连接器的一些