当前位置: 首页 > 知识库问答 >
问题:

Kafka connect-每个连接器有多少个任务

慕弘义
2023-03-14

正如我从留档和其他引用中看到的,连接器似乎将使用单个任务实例化,无论通过属性定义的值是多少(tasks.num)

  • 分布式Mongodb Kafka源代码连接器,多任务不工作
  • Kafka Connect中连接器和任务之间的关系是什么
    < li >此属性< code>tasks.num是否会产生任何影响,例如在故障转移等情况下..?比方说,如果< code>tasks.num配置为2,并且一个jdbc连接器用于一个任务,并且如果该任务失败,其他任务将接管? < li >在这种情况下,分布式模式有什么意义?实际上,连接器是通过一个任务创建的。

共有1个答案

茅鸿宝
2023-03-14

对于链接的源连接器,这是因为它使用了一个ChangeStream游标。您如何确切地期望多个任务不会获得冲突信息,例如读取相同的数据并将其复制到主题中?

连接运行源和接收器。很多源码只支持单一任务,但这取决于它们的内部线程模型;例如,每个集合/表可以有一个任务,但是如果只有一个统一的项目,比如change-stream或binlog,那么就只能有一个任务。你提到了JDBC,但是如果Debezium支持你的数据库,它会更适合CDC。

分发也是为了容错,而不仅仅是可伸缩性。只有一些异常是可恢复的,并且可以在其他节点上重新启动

 类似资料:
  • 我参考了以下链接来了解Kafka的HDFS连接https://docs.confluent.io/2.0.0/Connect/connect-hdfs/docs/index.html 我能够通过配置单元集成将数据从Kafka导出到HDFS。 现在我正尝试在Java程序的帮助下将avro记录写入Kafka 当我把Avro记录写到Kafka主题时,我在Connect中出现以下错误

  • 我使用自己的自定义Sink插件运行Kafka Connect集群(本地有1个工人Docker Compose)。我想在连接器中使用几个主题:topicA、topicB、topicC,每个主题都有一个分区。 我的连接器启动时的配置子集如下: 使用此配置,我希望Kafka Connect为每个接收器任务分配一个主题,但遗憾的是,这不是我看到的。实践中发生的情况是,为分配了所有主题的每个任务调用Sink

  • 问题内容: 我有一个由15种方法组成的Java程序。并且,这些方法在程序执行过程中非常频繁地被调用。目前,我正在每种方法中创建一个新连接并调用它们上的语句(数据库在网络上的另一台计算机上设置)。 我想知道的是:我应该只在main方法中创建一个连接并将其作为参数传递给需要连接对象的所有方法,因为这将大大减少程序中的连接对象数量,而不是创建在每种方法中都非常频繁地关闭连接。 我怀疑我在当前设计中不能非

  • 我正在尝试使用服务器发送事件(SSE)作为实时数据推送的websockets的替代方案(我的应用程序中的数据主要是单向的)。 这会有多大的可伸缩性?我知道每个SSE连接使用一个HTTP请求--这是否意味着web服务器可以处理和HTTP请求一样多的SSE连接(类似于以下答案)?我觉得情况可能是这样,但我不确定SSE连接是如何工作的,以及它是否比简单的HTTP请求更复杂/更需要资源。 我主要想知道这与

  • 我知道在Netty4中,一旦建立了一个通道,该通道的所有事件处理都在分配给特定EventLoop的同一个线程上完成。此绑定在通道创建时完成。 我不明白的部分是,实际需要多少线程来接受新连接、创建新通道和进行绑定?

  • 问题内容: 浏览器将下载HTML页面中指定的资源的最大并发连接数是多少?它随浏览器/浏览器/连接速度的不同而不同吗? 问题答案: 简短的答案是“每个域大约4到6个连接” 有关更多详细信息,请查看有关每个浏览器将与给定域建立多少个并行连接的概述。 结果总结如下…