当前位置: 首页 > 知识库问答 >
问题:

Kafka流式数据库查询架构?

范鸿
2023-03-14

我怀疑为每一个传入的事件记录执行postgresql操作将是一个性能问题。

对于这种情况,有什么更好的或可供选择的设计?

共有1个答案

齐文栋
2023-03-14

对于Kafka Streams streaming join来说,这是一个理想的例子,如果您捕获了在另一个Kafka主题中查询的Postgres表的内容,您将能够查找现有记录并丰富它们,而不必调用数据库。如果需要将新记录插入到表中,可以发布到写入数据库的另一个主题。

从Postgres获取数据可以使用Kafka Connect的JDBC源代码,甚至更好:使用Debezium项目中的CDC

写回表可以用Kafka Connect JDBC接收器完成。

 类似资料:
  • 本文向大家介绍Java8中使用流方式查询数据库的方法,包括了Java8中使用流方式查询数据库的方法的使用技巧和注意事项,需要的朋友参考一下 由于关系型数据库操作语言和面向对象语言之间的差异,如今我们仍然需要花费许多时间建立数据库与 Java 应用之间互相沟通的桥梁。通常,我们可以编写自己的映射层(mapping layer),或者使用第三方的 ORM(Object Relational Mappe

  • 本文向大家介绍Python flask框架实现查询数据库并显示数据,包括了Python flask框架实现查询数据库并显示数据的使用技巧和注意事项,需要的朋友参考一下 首先数据库长这样 我们想将name和age列显示到web页面 上代码sqlshowweb.py index.html 运行结果 代码在git上https://github.com/qingnvsue/flask的sql文件夹 以上就

  • SqliteOpenHelper只是一个工具,是SQL世界和OOP之间的一个通道。我们要新建几个类来请求已经保存在数据库中的数据,和保存新的数据。被定义的类会使用ForecastDbHelper和DataMapper来转换数据库中的数据到domain models。我仍旧使用默认值的方式来实现简单的依赖注入: class ForecastDb( val forecastDbHelper:

  • 简介 Laravel 的数据库查询构造器为创建和运行数据库查询提供了一个方便的接口。它能用来执行应用程序中的大部分数据库操作,且可在所有支持的数据库系统上运行。 Laravel 的查询构造器使用 PDO 参数绑定来保护您的应用程序免受 SQL 注入攻击。因此没有必要清理作为绑定传递的字符串。 获取结果 从数据表中获取所有行 你可以 DB facade 上使用 table 方法来开始查询。该 tab

  • 我是新来的和我试图我的得到一个从它。我试图这样做的它与这是id但问题是我不知道如何返回目标从。 这就是<代码>刀 这是Repository类

  • 我有一个启用了Kafka的Azure Event Hub,我正试图从Google Cloud的数据流服务连接到它,以将数据流式传输到Google Big Query。我成功地可以使用Kafka CLI与Azure Event Hub交谈。但是,使用GCP,5分钟后,我在GCP数据流作业窗口中收到超时错误。 Azure EH已启用Kafka- 为了设置启用Kafka的事件中心,我遵循此GitHub页