《kafka》专题

我有一个Spring靴Kafka消费者 为了避免重新平衡，我尝试在KafkaContainer上调用pause（）和resume（），但消费者总是在运行 我错过了什么吗？有人能指导我如何正确地达到要求的行为吗？

让我用一个例子来解释我的问题， 有一种叫做“通知服务”的微服务 它有2个实例在端口8080和8081中运行 我们的Spring云配置服务器也在运行，并包含“通知服务”的所有属性文件 当属性文件更改时，为了使其立即影响所有正在运行的实例，我们可以使用sping-Cloud-bus， 并使用邮递员工具一次刷新“通知服务”的所有实例。 例如，localhost:8080/bus/refresh 我想知道

我正在检查spring批处理远程分区，以便从RDBMS源加载数据，以及多分区Kafka主题。我的问题是，我不能用rabbitMQ或JMS作为master和worker节点之间的中间件，我只能用Kafka作为master和worker之间的通道。 在所有文档中，我可以看到它支持JMS和AMQP。谁能告诉我，我们如何使用远程分区与Kafka作为中间穿....如果有人也有工作的例子，那将是一个很大的帮助

我正在尝试使用Kafka Connect的自定义转换器，但似乎无法正确使用。我希望有人有这方面的经验，能帮我弄清楚！ > 我的自定义转换器的类路径是。 为了避免任何错误，我的自定义转换器目前只是预先存在的StringConverter的复制/粘贴（当然，当我开始工作时，这会改变）。https://github.com/apache/kafka/blob/trunk/connect/api/src/

我正在尝试在本地Docker容器中使用Kafka Connect（使用官方的ConFluent映像），以便将DB2数据推送到OpenShift（在AWS上）上的Kafka集群。我在使用DB2 JDBC-Jar时使用了ConFluent JDBC连接器。我有不同的连接器配置，因为我使用带有“transforms.create键”的SMT（创建我的密钥），并且我表中的键列有不同的名称。 以下是我的步骤

我正在尝试将 kafka 与 windows 上的 mysql 连接起来。我没有使用汇合。我的 kafka 版本是 2.12 我已经启动了动物园管理员、Kafka、生产者和消费者，这一切都很好用。 我的MysQL版本是8.0.15 我已经在libs文件夹中复制了这3个jar文件 我的源代码quickstart mysql。属性文件代码为 当我运行命令时 我在控制台上收到此错误 请帮助我。 我也试过

我使用kafka connect从mongo读取数据并将其写入kafka主题。 我正在使用 mongo kafka 源连接器。 我收到以下错误： 罐子里好像有一个小盒子。为了得到这个罐子，我使用了两种不同的方法，但是我得到了同样的错误。首先，我使用了下载的from:maven资源库，然后我从github repo中克隆了源代码，并自己构建了jar。我将jar推到plugins.path中，当我解压

我正在分布式模式下使用 cp-kafka-connect Helm chart 在 Google Kubernetes Engine （GKE） 上部署 Kafka-connect。 一个工作的Kafka集群与代理和动物园管理员已经在同一个GKE集群上运行。我知道我可以通过发送帖子请求到endpoint来创建连接器，一旦它可用。但是，Kafka连接容器进入运行状态，然后开始加载jar文件，直到所有

我有使用Protobuf制作的主题事件。我可以使用Parquet格式的S3 sink连接器将主题事件成功地汇到S3存储桶中。现在我的S3存储桶中有和。使用以下配置，所有这些都按预期工作： 现在，我想使用Protobuf将< code > my-bucket-123 (< code > parquet 格式)的键和值放回到Kafka主题中。为此，我使用以下配置通过汇合设置了一个新的S3源连接器(<

我是 Kafka 的新手，我写了一段写入主题的代码（制作人）。 现在，我被赋予了一项任务，即观察内容是否与主题相关。 我的技术主管提供的唯一信息是我应该安装kafka连接，并使用此XML： 我完全不知道在哪里或如何导入这个xml配置文件。我安装了kafka，将其放到本地运行，但所有配置文件通常采用以下格式： 部分输出: 我尝试在这里添加字段，但缺少许多字段，任何提示都将非常受欢迎，我做了一些研究，

我找不到任何关于Apache Kafka Connect如何实际工作的简单解释。例如，在官方教程中，它说我们在bin目录下运行某些shell脚本，我们需要配置一些文件。 这很清楚。我猜我们需要克隆整个apache kafka源代码，因为这些shell文件在apache kafka源代码中使用了许多其他shell脚本和java类。 但是，我们将连接器代码放在哪里，以何种格式放置呢？作为源代码还是作为

我在库伯内特斯（8-16个节点，自动缩放）上运行Kafka Connect。我总共定义了44个连接器，每个Kafka主题一个（每个主题一个分区）。这些主题是由Debezium/Postgreql生成的。有3个Kafka节点。每个连接器tasks.max设置为4。我的大多数连接器（但不是每个！）有一个（总是一个）失败任务，由于java.lang.IllegalStateExc的：分区-0没有当前分配

我对 Confluent 社区许可证和 Confluent 连接器有点困惑。 根据https://www.confluent.io/confluent-community-license-faq/它只适用于一些Confluent连接器，在下图中列出了Apache 2.0许可证下的社区连接器。 然后，如果您搜索社区连接器，您可以看到支持融合的Kafka Connect HDFS连接器（在撰写此问题时

我们计划使用JMS源连接器将数据传输到我们的Kafka集群中。来自ActiveMQ的数据是XML格式的。JMS源连接器使用内部messageID(message . getjmsmessageid())作为键。 充当连接器流式传输到的 Kafka 主题上的键的字段需要从 （XML） 有效负载中检索。 为此，需要在连接器中执行几个步骤。 要将XML转换为内部Kafka Connect Struct，

我正在尝试使用docker容器中的kafka connect和一个自定义连接器(PROGRESS _ DATADIRECT _ JDBC _ OE _ all . jar)来连接openedge数据库。 我将JAR文件放在插件路径（usr/share/java）中，但它不会作为连接器加载。 我可以通过将另一个（标准）连接器放在插件路径中来加载它。这行得通 有点不知道如何前进，我对Kafka很陌生。