《kafka》专题

我们希望使用Kafka connect sink连接器将消息从Kafka复制到Mongo DB。在我们的用例中，我们有多个主题，每个主题都有一个分区（主题的名称可以用正则表达式表示，例如topic.XXX.name）。这些主题的数量在不断增加。我想知道Kafka connect架构是否适合这个用例。如果是这样，如何配置它的增益高可缩放性和并行性？任务是什么。最大值？工人数量？

我正在使用Confluent Kafka Docker镜像，特别是使用这个： https://github.com/confluentinc/cp-docker-images/tree/4.0.x/examples/cp-all-in-one 我想添加MySQL连接器，通过： 正在下载连接器的1.5.46版本（https://dev.mysql.com/get/Downloads/Connecto

尝试连接到Kafka集群，并从主题向雪花写入数据。 我得到的错误是： 我用来运行的命令(不包括标准的zookeeper / kafka启动命令): 到目前为止我所做的： 更新的插件。路径在中 与 我在网上研究了类似的案例，但是虽然其中许多是收到相同错误消息的用户，但他们想要的连接器并没有像我一样列在可用连接器列表中。 我最初尝试将雪花罐直接放在 libs 文件夹中，然后再次作为整个包结构，但两者都

我有一个Kafka Connect集群，它有JDBC源连接器插件。我也有自己的定制SMT，它是一个jar文件，可以使用JDBC源连接器插件来处理我的用例，例如my-custom-1.0.0.jar。例如以下内容。变压器类型是我自己的java类MySMT 我知道我可以将jar文件放在plugin.path中。然而，是否可以重新加载连接器插件（JDBC源连接器）来加载我的SMT jar，而不重新启动K

我尝试在连接群集中加载一个简单的 Kafka 连接器。我为连接器创建了jar，并将Kafka Connect作为docker启动。在日志中，我可以看到它正在加载插件。Docker 可以正确挂载 jar 文件。但是，在调用 http://localhost:8083/connector-plugins 时，我的自定义连接器不在列表中。 我简单地从这个repo:https://github.com/r

-我用kafka，kafka-connect(图片:confluentinc/cp-kafka-connect) 当你在Docker容器中使用Kafka时，如果你想操作Kafka，你必须进入容器（如'docker exec -it kafka'或'docker exec -it kafka-connect'---- 我尝试将一些连接器（jdbc连接器、mysql连接器）放入kafka-link容器

我想开发一个Kafka连接器，但为了快速测试，我想重新加载插件，而不是重新加载我的docker堆栈中的容器。有办法做到吗？ 实际上，我编译了连接器，并将jar文件移动到绑定在容器kafka connect上的文件夹中。移动文件后，我重新加载容器。 先谢谢你。

我使用 docker compose 来启动 3 个服务：zookeeper、kafka broker 和 minio-connector 当我在 minio-connector 中使用以下配置从 kafka 消费并将 JSON 格式的记录转储到 minio 时，这三个服务可以成功启动和连接： 启动命令： <代码>root@e1d1294c6fe6：/opt/bitnami/kafka/bin#.

我正在使用Kafka连接将来自Kafka代理的数据持久化到使用ConFluent平台的弹性搜索。 我已经编写了一个SinkConntor来持久化数据以进行弹性搜索。 connect-avro-standalone . properties配置为: 但是当我将一个有效的 json 从 avro 生产者推送到 Kafka 时，它会导致以下异常。

我正在尝试设置Kafka Connect，目的是运行Elasticsearch chSinkConntor。 Kafka安装程序，由3个使用Kerberos、SSL和ACL保护的代理程序组成。 到目前为止，我一直在尝试使用docker/docker-com的连接器运行连接框架和elasticserch-server本地化（使用Kafka 2.4连接到远程kafka安装（Kafka 2.0.1-实际

我正在尝试使用JDBC通过kafka connect访问SAP Advantage DB。我正在使用docker容器，并且我已经添加了来自http://devzone.advantagedatabase.com/dz/content.aspx?Key=20的jdbc驱动程序Jar 当我尝试使用它时，我收到一个错误的 URL 错误

我正在尝试将kafka-jdbc连接器（源代码和接收器）与非常旧的数据库（cloudscape）一起使用。我有这个数据库的 JDBC 驱动程序。我将驱动程序放在Confluent（版本5）的“/share/java/kafka/connect/jdbc”文件夹中，并创建了属性文件。 启动连接器时，日志如下： 我想JDBC驱动程序很旧（它使用JAVA1.3）这一事实存在问题。驱动程序使用RMI协议进

我正在尝试使用Github中jcustenborder的Kafka Connect with Kafka-Connect-Twitter将Twitter tweets引入Kafka。说明书上说: 导出类路径行实际上不起作用，运行时不返回任何内容。在kafka-connect-twitter存储库中运行mvn clean package之后，connect avro docker属性文件似乎想要使用

我正在分布式模式下运行Kafka Connect（Confluent），最近添加了数据库。timezone属性设置为JDBC源连接器。这样做之后，当我加载连接器时，会看到以下错误： java.lang.NoClassDefFoundError:无法初始化Java . time . zone . zonerulesprovider类\ n \ tat Java . time . zoneregion

我正在开发一个使用Spark处理日志的应用程序，我想使用Kafka作为从日志文件中流式传输数据的一种方式。基本上，我有一个日志文件（在本地文件系统上），它会随着新日志不断更新，而Kafka Connect似乎是从文件中获取数据以及新附加行的完美解决方案。 我使用以下命令以默认配置启动服务器： Zookeeper服务器： < code > zookeeper-server-start . sh co