在Kafka Connect中使用单个分布式工作程序启动多个连接器？
如何在单个分布式工作线程（在 3 个不同的服务器上运行）中启动 Kafka Connect 世界中的多个 Kafka 连接器？
现在我需要4个Kafka连接器在这个分布式工人（相同的group.id）。
目前，我使用以下curl命令一次添加一个连接器。
curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'
问题：
- 对于我添加的每个新连接器，以前的/现有的连接器和新连接器一起重新启动。
问题:
-
< li >在分布式工作模式下，如何通过一个REST调用启动/创建所有这些新连接器？ < li >有什么方法可以在一个REST调用中包含所有连接器配置，比如连接器配置数组？
我试图搜索相同的内容，但没有找到任何解决方法。
谢了。
共有1个答案
对于我添加的每个新连接器，以前/现有连接器将与新连接器一起重新启动。
是的，这就是Kafka Connect的当前行为。有关进一步讨论，请参阅：
- https://issues.apache.org/jira/browse/KAFKA-5505
- https://cwiki.apache.org/confluence/display/KAFKA/Incremental 合作再平衡：支持与政策
我应该如何在分布式工作模式下使用一个REST调用启动/创建所有这些新连接器？是否有任何方法可以在单个REST调用中包含所有连接器配置，例如连接器配置数组？
你不能在一个REST调用中完成
如果您希望在创建/更新连接器时将它们彼此隔离，则只需运行多个分布式集群即可。
因此，您可以有3个分布式Connect集群，而不是1个运行3个连接器的分布式Connect集群，每个集群运行1个连接器。
请记住，在实践中,“分布式集群”可能只有一个节点，而且实际上可以在同一台机器上运行。您可以横向扩展以获得弹性和吞吐量。
-
分布式模式下Kafka Connect集群的偏移管理行为是什么，即运行多个连接器并监听同一组主题(或一个主题)？ 因此，在分布式模式下，Kafka Connect 会将偏移量信息存储在 Kafka 中，此偏移量将由集群中的工作线程读取和提交。如果我在该 Kafka Connect 集群中运行多个连接器侦听同一主题，会发生什么情况？分区的偏移量是否与所有连接器相同，或者每个连接器在分区上的偏移量是否
-
我们有制作人将以下内容发送给Kafka： 主题=系统日志，每天 ~25，000 个事件 topic=nginx，每天 ~5，000 个事件 topic=zeek.xxx.log，每天~100，000个事件（总计）。在最后一种情况下，有 20 个不同的 zeek 主题，例如 zeek.conn.log 和 zeek.http.log 实例充当消费者，将数据从kafka发送到elasticsearch
-
问题内容： 我想将Node-mssql用作Node JS Express 4 Web应用程序中的MSSQL数据库连接器。路由处理程序逻辑在单独的文件中处理。 如何创建单个/全局连接池，并在处理路由逻辑的多个文件中使用它？我不想在每个路由处理程序功能/文件中建立新的连接池。 问题答案： 自问和回答问题以来已经三年了。从那以后，一些事情发生了变化。这是我今天建议的基于ES6，mssql 4和Expre
-
问题内容： 我正在尝试编写一个多线程Python应用程序，其中在线程之间共享一个SQlite连接。我无法使它正常工作。真正的应用程序是一个小巧的Web服务器，但是以下简单代码演示了我的问题。 为了成功运行下面的示例代码，我需要进行哪些更改？ 当我在THREAD_COUNT设置为1的情况下运行此程序时，它可以正常工作，并且数据库已按预期进行更新（即，字母“ X”被添加到SectorGroup列的文本
-
我的主文件app.js连接到userDB我想添加第二个数据库postsDB 常量mongoose=require（“mongoose”）； 常量app=express()； mongoose.set（“UseCreateIndex”,true）；mongoose.set（“UseUnifiedTopology”,true）； Mongoose.connect（“MongoDB：//localhos
-
同传统的集中式版本控制系统（CVCS）不同，Git 的分布式特性使得开发者间的协作变得更加灵活多样。 在集中式系统中，每个开发者就像是连接在集线器上的节点，彼此的工作方式大体相像。 而在 Git 中，每个开发者同时扮演着节点和集线器的角色——也就是说，每个开发者既可以将自己的代码贡献到其他的仓库中，同时也能维护自己的公开仓库，让其他人可以在其基础上工作并贡献代码。 由此，Git 的分布式协作可以为