《kafka》专题

我正在使用 Confluent JDBC-Source 连接器运行以下作业： 我有一个类似的Kafka-Connect作业在同一个数据库和同一个用户上成功运行，但使用另一个较小的表。所以连接不是问题。 在运行作业的 Kafka-connect 服务器上的日志中，我看到以下内容： 所以，没什么可说的。运行此作业的服务器现在无响应，并且不响应 REST 调用。有什么想法吗？

我正在努力让Confluent的kafka连接器连接到DB2。 我正在 docker 中运行一个 ubuntu 实例来测试普鲁波斯。该解决方案需要部署到 kubernetes，所以 docker 就是这样。 我已经使用apt-get安装了ConFluent平台并添加了他们的repos。所有服务都在运行，kafka，zoo的，模式和kafkaRest。 我已经创建了我的kafka连接属性文件，如本文

我正在尝试将MySQL与Kafka Connect连接，并且出现了许多错误。我正在共享我的connect-standalone.properties和mysql-jdbc-connector.properties，并显示错误。我的 Kafka 和 MySQL 在不同的集群中，我使用的是融合连接器，但不是在融合接口中。我下载了4.1.0 JDBC MySQL融合连接器。 MySQL-JDBC-con

如何启用Kafka源连接器等幂特性？ 我知道在合流中，我们可以通过< code >生成器覆盖生成器配置。*属性，但是Kafka本身呢？是一样的吗？ 设置这些配置后，我在哪里可以看到我的连接工作者的应用配置？

我正在尝试从kafka中的主题将数据插入postgres数据库。我正在使用以下命令加载 sink-quick start-MySQL . properties如下 我得到的错误是 Postgres jar文件已经在文件夹中。有人能提出建议吗？

我已经将 Kafka-connect-jdbc-5.5.0.jar 文件从 Confluent 下载到我的本地机器中，我想知道一种将此 jar 添加到 plugin.path=/kafka/connect 的方法。我正在尝试将数据接收器到 MySQL 服务器，所以我使用“连接器.class”：“io.confluent.connect.jdbc.JdbcSinkConnector”，但我面临“er

我们已经成功地使用了MySQL - 使用jdbc独立连接器的kafka数据摄取，但现在在分布式模式下使用相同的连接器（作为kafka connect服务）时面临问题。 用于独立连接器的命令，工作正常 - 现在，我们已经停止了这一项，并以分布式模式启动了kafka connect服务，如下所示 2 个节点当前正在运行具有相同连接服务。 连接服务已启动并正在运行，但它不会加载 下定义的连接器。 应该对

我有一个分布式模式下的 3 节点 kafka-connect 工作线程集群，带有正在运行的 s3 接收器连接器。为了在运行时更新连接器的配置，我运行以下命令： 然而，它返回： 工人的完整日志在这里： 对于背景：工作线程集群位于 Ubuntu 16.04 上，包 confluent-kafka-connect-s3=5.0.0-1 和 confluent-kafka-2.11=2.0.0-1。apa

如何在单个分布式工作线程（在 3 个不同的服务器上运行）中启动 Kafka Connect 世界中的多个 Kafka 连接器？ 现在我需要4个Kafka连接器在这个分布式工人（相同的group.id）。 目前，我使用以下curl命令一次添加一个连接器。 问题： 对于我添加的每个新连接器，以前的/现有的连接器和新连接器一起重新启动。 问题: < li >在分布式工作模式下，如何通过一个REST调用启

有没有办法在Kafka Connect启动时自动加载(多个)Kafka Connect连接器(例如在Confluent Platform中)？ 我目前发现的是: ConFluent Docs状态为使用命令进行独立模式，并为工作人员和每个连接器提供属性文件。 对于分布式模式，您必须通过REST API运行连接器。 https://docs.confluent.io/current/connect/u

分布式模式下Kafka Connect集群的偏移管理行为是什么，即运行多个连接器并监听同一组主题(或一个主题)？ 因此，在分布式模式下，Kafka Connect 会将偏移量信息存储在 Kafka 中，此偏移量将由集群中的工作线程读取和提交。如果我在该 Kafka Connect 集群中运行多个连接器侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量是否

我正在尝试在分布式模式下运行Kafka辅助角色。与独立模式不同，我们在分布式模式下启动辅助角色时无法传递连接器属性文件。在分布式模式下，辅助角色是单独启动的，我们使用REST API部署和管理这些辅助角色上的连接器 参考链接 - https://docs.confluent.io/current/connect/managing/configuring.html#connect-managing-

我们使用Debezium（MongoDB）和Confluent S3连接器以分布式模式运行Kafka Connect（Confluent Platform 5.4，即Kafka 2.4）。通过REST API添加新连接器时，连接器将在RUNNING状态下创建，但不会为连接器创建任何任务。 暂停和恢复连接器没有帮助。当我们停止所有工作人员，然后再次启动他们时，任务就会创建，一切都会按应有的方式运行。

当单一的分布式模式不能满足我时，我尝试使用多个经纪人kafka。但是我在注册kafka source Postgresql连接器时遇到了另一个问题。注册时，它总是给我发送错误500。这是我的kafka connect分布式配置: 这就是我如何定义其中一个连接器： 我错过了什么吗？ 更新： 这是我从kafka-connect得到的： 并从连接器卷曲：

我正在使用Kafka源和接收器连接器创建一个数据管道。源连接器从SQL数据库消费并发布到主题，而接收器连接器订阅主题并放入其他SQL数据库。表有16 GB的数据。现在的问题是，数据不能从一个数据库传输到另一个数据库。但是，如果表的大小很小，比如1000行，那么数据可以成功传输。 源连接器配置: 源连接器日志： 有人能指导我如何调整Kafka源连接器以传输大数据吗？