当前位置: 首页 > 知识库问答 >
问题:

如何将本地Kafka集群连接到本地Mongodb?

堵德曜
2023-03-14

我目前正在做一个小项目,我需要将kafka集群连接到mongodb,以便将发布到kafka主题的消息存储在mongodb数据库中。我目前有一个本地kafka集群,一个sping引导生产者向一个主题发布消息,一个spinger引导消费者在本地使用这些消息。我也在本地安装了mongob指南针……我一直在看教程,我发现我必须使用某种接收器连接器(mongob连接器)来做我想做的事情,但大多数示例都是基于mongob图集和合流或aws管理的kafka……有没有什么好的教程,我可以按照学习如何在本地kafka集群和本地mongob上做,或者如果你们中的任何一个人可以解释我该怎么做,我将非常感激……谢谢。

共有1个答案

司寇书
2023-03-14

大多数示例都基于MongoDB Atlas和Confluent或AWS管理的Kafka。

删除任何访问密钥或身份验证,只需修改 bootstrap.servers 属性 Mongo 连接字符串,找到的任何教程都应适用于本地安装

AFAICT,文档中的Docker示例不使用任何云服务

https://docs . MongoDB . com/Kafka-connector/current/Kafka-docker-example/

 类似资料:
  • 我想实现的: 我们有一个本地Kafka集群。我想在OpenShift中设置KSQLDB并将其连接到本地Kafka集群的代理。 问题: 当我尝试使用命令"/usr/bin/ksql-server-start /etc/ksqldb/ksql-server.properties"启动KSQLDB服务器时,我得到错误消息: 我的配置: 我根据此图像设置Dockerfile:https://hub.doc

  • 我试图在本地mac中运行以下代码,其中运行有主从集群的spark集群 但是,在主控制台和

  • 可以任何一个请让我知道如何提交火花作业从本地和连接到卡桑德拉集群。 目前,我在通过putty登录到Cassandra节点并提交下面的dse-spark-submit job命令后提交了Spark作业。

  • 我使用的是spring boot starter和。它在实际的GCP中工作得很好,但现在我想用它进行本地Google PubSub模拟器的测试。如何提供自定义url、端口和无凭据? 编辑: 我的应用程序中只有一个bean: 和 Application.Properties: 当我运行这个应用程序时,我得到了: 当然,链接上说的是gcloud sdk,而不是pubsubtemplate

  • 我试图运行一个连接到本地独立spark集群的java应用程序。我使用start-all.sh以默认配置启动集群。当我转到集群的web页面时,它被启动为OK。我可以用SparkR连接到这个集群,但是当我使用相同的主URL从Java内部连接时,我会得到一条错误消息。 下面是Spark日志中的输出:

  • 我正在创建一个Azure函数,它将对CosmosDB中的一个文档执行GET请求。我在Visual Studio 2019预览版中初始化了一个新的Azure Functions项目,创建了一个新的HTTP触发器函数,现在正在努力连接我的Azure Cosmos仿真器。模拟器给了我一个主连接字符串,但我不确定它是如何读入的。我想转到函数url,让它返回我放在本地Cosmos模拟器中的数据。任何帮助都将