当前位置: 首页 > 软件库 > 大数据 > 其他 >

SpinalTap

变更数据捕获服务​
授权协议 Apache-2.0
开发语言 Java Scala
所属分类 大数据、 其他
软件类型 开源软件
地区 不详
投 递 者 姜羽
操作系统 跨平台
开源组织 Airbnb
适用人群 未知
 软件概览

SpinalTap —— 通用可靠的变更数据捕获(Change Data Capture: CDC)服务

SpinalTap 是一种可扩展、高性能、可靠、无损的变更数据捕获(CDC)服务,能够检测跨不同数据源类型的低延迟的数据突变,并将它们作为标准化事件传播给下游的消费者。SpinalTap 已经成为 Airbnb 基础架构和衍生数据处理平台中不可或缺一部分,几个关键应用流水线都依赖于此。

变更数据捕获(CDC)是一种设计模式,可以捕获数据更改并通知参与者,以便他们做出相应的反应。这遵循发布—订阅模型,其中数据集的更改是关键。

工作流程概述

 相关资料
  • 问题内容: 我已经在寻找我的答案几个小时了,但无法解决。请帮忙。 我想要做的是在Android中使用VpnService来抓取网络数据包,例如应用程序tPacketCapture 我首先使用了Google的ToyVpn示例代码并对其进行了修改,所以我不将数据发送到服务器。但是,我不确定这是否正确。 我的configure方法在调用build()之前将wlan ip地址用于binder.addAdd

  • 我正在使用org.springframework.data.jpa.repository.JpaRepository保存方法来保存一个实体。我认为保存方法来自CrudRepository接口。我从服务类调用这个保存方法。 但问题是< code > DataIntegrityViolationException 在catch块中没有被捕获。相反,我在下面的日志中看到。 和 我甚至尝试捕获Constr

  • 这个问题与前一个问题相关,在前一个问题中,我们注意到init捕获lambdas与Boost的范围和迭代器不兼容,因为一些相当模糊且嵌套很深的故障可能很难通过破解Boost来解决。射程源。 接受的答案建议将lambda存储在对象中。为了避免潜在的函数调用开销,我编写了两个函数对象,可以作为潜在的解决方法。它们在下面的代码中被称为和 不使用和编译行,并正确打印行的的实例。 然而,标准草案提到 5.1.

  • 问题 你用lambda定义了一个匿名函数,并想在定义时捕获到某些变量的值。 解决方案 先看下下面代码的效果: >>> x = 10 >>> a = lambda y: x + y >>> x = 20 >>> b = lambda y: x + y >>> 现在我问你,a(10)和b(10)返回的结果是什么?如果你认为结果是20和30,那么你就错了: >>> a(10) 30 >>> b(10)

  • 问题内容: 是否可以实现类似以下触发器的内容 但是在整个服务器上。我的想法是捕获服务器中所有数据库之间的所有架构更改。 就即时消息而言,这在SQL Server 2005中是不可能的,但是我想知道是否有人能像这样工作。我想避免必须在每个数据库中实现触发器。 问题答案: 是的,SQL Server 2005引入了“ DDL触发器”,请在SQL Team 上阅读一篇出色的文章。 本文很好地显示了它们是

  • CDC-Debezium一旦源系统(如postgres)中发生事件(如Insert、Update或Delete)就捕获这些事件,并将数据流化并发送到目标系统(如NoSQL或Apache-Kafka)。我在这个配置和设置是非常新的。 我想知道在任何事件触发时是否有任何方法捕获表链,例如,假设源系统中有表A父表和B子表。现在表B中发生了一些变化,它被成功捕获并流向目标系统。现在,我需要CDC-Debe