gravity mysql_gravity 使用操作。
gravity 使用操作。
最近我司有一个比较奇葩的需求，我们的环境是主从，因为数据量较大会定期的删除数据，
最近不行了，要求新建出来一个库 同步正事环境的数据，但是要剔除 delete ，drop，truncat 等这些删除数据的语句。
因此 准备使用gravity 来进行数据操作。看看能否满足这些需求。
这个环境实现的是mysql ---------》 mysql的数据同步(剔除drop,truncate,delete语句)；
mysql：192.168.17.21(主)
mysql：192.168.17.23(辅)
gravity：192.168.17.20
mysql 如果不会安装的话 可以使用 https://www.cnblogs.com/noel/p/10314125.html 脚本安装
在192.168.17.20 配置go语言环境：
https://golang.org/dl/ 下载linux 安装包
上传到服务器 /usr/local/src/ 目录下：
tar -xvzf go1.11.5.linux-amd64.tar.gz -C /usr/local/
export PATH=$PATH:/usr/local/go/bin
或者
vim /etc/profile
查看 gopath
go env
source /etc/profile
编译 (TODO: 开源后直接从 github 下载 binary)
mkdir -p $GOPATH/src/github.com/moiot/
cd $GOPATH/src/github.com/moiot/
git clone https://github.com/moiot/gravity.git
cd gravity/ && make
可能会出现以下错误：
错误1：
[root@localhost moiot]# git clone https://github.com/moiot/gravity.git
Initialized empty Git repository in /usr/local/go/bin/src/github.com/moiot/gravity/.git/
error: while accessing https://github.com/moiot/gravity.git/info/refs
fatal: HTTP request failed
这是因为系统自带的git的版本太低了 需要升级git：
升级git： 下载相应的安装包
yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install gcc perl-ExtUtils-MakeMaker
移除系统自带的git
yum remove git
安装新版git
cd /usr/local/src/
wget https://www.kernel.org/pub/software/scm/git/git-2.9.5.tar.xz
tar -xvz git-2.9.5.tar.xz
cd git-2.9.5
./configure --prefix=/usr/local/git
make && make install
echo "export PATH=$PATH:/usr/local/git/bin" >>/etc/profile
source /etc/profile
错误2：
[root@localhost moiot]# git clone https://github.com/moiot/gravity.git
Cloning into 'gravity'...
fatal: unable to access 'https://github.com/moiot/gravity.git/': SSL connect error
[root@localhost moiot]#
解决办法 yum update nss
分别在mysql：192.168.17.21(主) mysql：192.168.17.23(辅)执行一下命令
CREATE USER _gravity IDENTIFIED BY '_gravity';
GRANT SELECT, RELOAD, LOCK TABLES, REPLICATION SLAVE, REPLICATION CLIENT, CREATE, INSERT, UPDATE, DELETE ON *.* TO '_gravity'@'%';
GRANT ALL PRIVILEGES ON _gravity.* TO '_gravity'@'%';
flush privileges;
创建如下配置文件 mysql-mysql.toml
cat > mysql-mysql.toml << "EOF"
name = "mysql-mysql"
#
# Input 插件的定义，此处定义使用 mysql
#
[input]
type = "mysql"
mode = "replication" ##全量+增量(replication),增量(stream),全量(batch)
[input.config]
#是否忽略双向同步产生的内部数据,默认是false
ignore-bidirectional-data = false
# 总体扫描的并发线程数
# - 默认为 10，表示最多允许 10 个表同时扫描
# - 可选
nr-scanner = 10
# 单次扫描所去的行数
# - 默认为 10000，表示一次拉取 10000 行
# - 可选
table-scan-batch = 10000
# 全局限制，每秒所允许的 batch 数
# - 默认为 1
# - 可选
#
batch-per-second-limit = 1
# 全局限制，没有找到单列主键、唯一索引时，最多多少行的表可用全表扫描方式读取，否则报错退出。
# - 默认为 100,000
# - 可选
#
max-full-dump-count = 10000
[input.config.source]
host = "192.168.17.21"
username = "_gravity"
password = "_gravity"
port = 3306
# 需要扫描的表
# - 必填 多个schema的话 写多个configs
[[input.config.table-configs]]
schema = "test_gravity"
table = "*"
#
# Output 插件的定义，此处使用 mysql
#
[output]
type = "mysql"
#
[output.config]
enable-ddl = true #当前支持 create & alter table 语句。库表名会根据路由信息调整。
[output.config.target]
host = "192.168.17.23"
username = "_gravity"
password = "_gravity"
port = 3306
# 路由规则的定义
[[output.config.routes]]
match-schema = "test_gravity"
match-table = "*"
target_schema = "test_gravity"
target-table = "*"
[output.config.execution-engine]
# 开启双向同步标识的写入
use-bidirection = false
[[filters]]
type = "reject"
[filters.config]
match-schema = "test_gravity"
match-dml-op = "delete"
EOF
然后启动 ：
bin/gravity --config mysql-mysql.toml
########遇到的一个坑：
binlog_row_image 必须设置成FULL
create database 操作需要两边都做
delete 可以剔除
drop，truncate 不支持 很好用