当前位置: 首页 > 知识库问答 >
问题:

可以kafka连接-mongo源作为集群运行(max.tasks>1)

江高飞
2023-03-14

我使用的是kafka connect支持的以下mongo源代码。我发现mongo源代码的一个配置(从这里)是tasks.max。

这意味着我可以提供连接器tasks.max这是

如果它将创建多个连接器来侦听mongoDb更改流,那么我将最终得到重复的消息。那么,mongo真的具有并行性并作为集群工作吗?如果它有超过1个tasks.max?

共有1个答案

公良飞尘
2023-03-14

Mongo源不支持tasks.max

创建的任务数取决于特定的连接器。功能列表

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47

 类似资料:
  • 我使用kafka connect从mongo读取数据并将其写入kafka主题。 我正在使用 mongo kafka 源连接器。 我收到以下错误: 罐子里好像有一个小盒子。为了得到这个罐子,我使用了两种不同的方法,但是我得到了同样的错误。首先,我使用了下载的from:maven资源库,然后我从github repo中克隆了源代码,并自己构建了jar。我将jar推到plugins.path中,当我解压

  • 我创建了https://github.com/mongodb/mongo-kafka的构建 但是这个运行如何与我正在运行的kafka实例连接。 甚至这个问题听起来多么愚蠢。但似乎没有任何文档可以使其与的本地运行的一起工作。 如果你有一个好的资源,请引导我走向它。 更新1-- 已使用maven插件-https://search.maven.org/artifact/org.mongodb.kafka

  • 我正在浏览Kafka连接,我试图得到一些概念。 假设我有kafka集群(节点k1、k2和k3)设置并且正在运行,现在我想在不同的节点上运行kafka连接工作器,比如分布式模式下的c1和c2。 很少有问题。 1) 要在分布式模式下运行或启动kafka connect,我需要使用命令,这在kaffa集群节点中可用,所以我需要从任何一个kafka集群节点启动kafka连接?或者我启动kafka conn

  • 我尝试了kafka-console-consumer.sh和kafka-console-producer.sh,它工作得很好。我能够看到生产者在消费者中发送的消息 1)我已经下载了s3连接器(https://docs.confluent.io/current/connect/kafka-connect-S3/index.html) 2)将文件解压缩到/home/ec2-user/plugins/

  • 哪个图表:图表/比特纳米/Kafka/https://github.com/bitnami/charts/tree/master/bitnami/kafka 描述我正在遵循的教程bug使用Apache Kafka和MongoDB在库伯内特斯上构建可扩展的容错消息群集 为了解决外部署问题,我遵循了外部署不呈现留档#5649中的示例。问题已解决,我的工作配置如下: Dockerfile文件 然后我跑了

  • 目前我有一个Quarkus应用程序,它从一个Kafka话题消费,并在另一个Kafka话题上生产。它使用SmallRye反应消息传递。效果很好。由于外部更改,要在其上生成的主题和要从其消费的主题将在不同集群上的Kafka服务器上(并且不应该/不能组合在一个集群中)。 在这里添加一个服务器并没有帮助,它会尝试将数据传播到代理上,这不是我的本意。 是否可能连接到多个集群(可能每个主题设置一个服务器)?在