介绍
优质
小牛编辑
141浏览
2023-12-01
在数据库中,更改数据捕获(CDC)是一组软件设计模式,用于确定和跟踪已更改的数据,以便可以使用已更改的数据来采取措施。CanalSharp 是阿里巴巴开源项目 mysql 数据库 binlog 的增量订阅&消费组件 Canal 的 .NET 客户端,Canal 是 mysql 数据库的一种 cdc 组件。
开源地址:https://github.com/dotnetcore/CanalSharp
CanalSharp 是 .NET Core Community 旗下的项目
1.分支说明
分支 | 说明 |
---|---|
release/0.2.0 | CanalSharp的最初是版本,自Canal的Java Client而来,带有不少Java的代码习惯,采用 .NET 原生 Socket 实现,不再维护 |
main | 目前开发和维护的主要分支,全新代码实现。 |
2.Canal 简单介绍
早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护(拆分异构索引、倒排索引等)
- 业务 cache 刷新
- 带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
MySQL主备复制原理
- MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)
- MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
- MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据
Canal 工作原理
- canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
更详细介绍请查阅 Canal 官方文档:https://github.com/alibaba/canal
3.CanalSharp 工作原理
canal 设计了 client-server 模式,交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑。而 CanalSharp 正是 .NET/C# Client 实现,可以采用 C# 编写业务代码来消费 MySql binlog 数据。