SymmetricDS 完全配置安装手册
华温书
概述
SymmetricDS 是一个基于 Java 的数据库同步框架。本文并不打算带你熟悉 SymmetricDS 的实现原理，只是从安装与配置入手，让你感受一下 SymmetricDS 运行效果。如果你的系统中是干净（空白）的，那么你需要做的事情就比较多了。本文希望尽可能全面且细致地讲解配置过程，而不至于你按照本文的教程安装，出现无法使用的情况。如果真的有这样的情况产生，你可以在下面进行留言。以下是我在安装环境时配置的一些记录，希望于你有益。
版权说明
著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
本文作者：Q-WHai
发表日期： 2016年7月12日
本文链接：https://qwhai.blog.csdn.net/article/details/51891291
来源：CSDN
更多内容：分类 >> 数据库
我的环境
- CentOS release 6.5 (Final)
- java version “1.8.0_92”
- mysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline 5.1
- OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
- symmetric-server-3.7.34
相关配置
安装配置 JDK
这里需要你的 JDK 版本为 jdk1.6 以上，关于 JDK 的安装和配置这里就不多说了，网上一大堆。
防火墙
此处为测试环境，故设置了关闭防火墙
$ sudo service iptables stop
$ sudo chkconfig iptables off # 设置防火墙不随系统启动，这一条你可以选择性添加
SSH 免密码登录
关于 SSH 的免密码登录在这里不是很重要，只是本人在下发文件的时候用到了。你可以选择性配置。
配置过程可参见本人另一篇博客《Hadoop 2.2.0 集群搭建》
创建 MySQL 新用户
这里为了避免使用 root 帐户，所以创建了新的数据库操作用户：symmetric
首先使用 root 帐户登录 MySQL，并执行如下 SQL 语句：
mysql> INSERT INTO mysql.user(HOST,USER,PASSWORD) values("localhost","symmetric",password("123456"));
mysql> FLUSH privileges;
上面的 SQL 语句可以让你有一个 symmetric 的MySQL 用户，可是这个用户在很多地方都没有操作权限。这里需要修改某些操作的权限：
mysql> UPDATE mysql.user
SET
Select_priv='Y',Insert_priv='Y',Update_priv='Y',Delete_priv='Y',Create_priv='Y',
Drop_priv='Y',Reload_priv='Y',Shutdown_priv='Y',Process_priv='Y',File_priv='Y',
Grant_priv='Y',References_priv='Y',Index_priv='Y',Alter_priv='Y',Show_db_priv='Y',
Super_priv='Y',Create_tmp_table_priv='Y',Lock_tables_priv='Y',Execute_priv='Y',Repl_slave_priv='Y',
Repl_client_priv='Y',Create_view_priv='Y',Show_view_priv='Y',Create_routine_priv='Y',Alter_routine_priv='Y',
Create_user_priv='Y',Event_priv='Y',Trigger_priv='Y'
WHERE
USER="symmetric"
AND
HOST="localhost";
mysql> FLUSH privileges;
配置 MySQL 驱动
在 Java 中，如果需要连接 MySQL 数据库，需要使用 JDBC 的数据库连接技术。在使用 JDBC 的时候比较容易忽略的就是连接驱动的配置了。
这一点在 Windows 下还好，不过要在 Linux 下使用 JDBC 就需要配置 MySQL 的驱动程序了。
- 首先上传 MySQL 的驱动 jar 包 mysql-connector-java-5.1.6-bin.jar 到 Linux 的合适位置
- 配置环境变量
$ sudo vim /etc/profile
在文件末尾处添加如下内容：
export CLASSPATH=${CLASSPATH}:/home/hadoop/libs/mysql-connector-java-5.1.6-bin.jar
设置配置立即生效
$ source /etc/profile
SymmetricDS
首先上传 symmetric-server-3.7.34 到 master 节点自定义的一个目录下，再重命名移动到用户根目录。
$ mv symmetric-server-3.7.34/ ~/symmetric
然后再下发此文件夹：
$ scp -r ~/symmetric/ slave:~/symmetric/
配置 corp
这里的 corp 也就是我的 master 节点。
复制 symmetric 目录下的 samples/corp-000.properties 文件到 engines 目录下：
$ cp samples/corp-000.properties engines/
并修改此文件内容
$ vim engines/corp-000.properties
修改后的内容如下：
engine.name=corp-000
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://master/sample
db.user=symmetric
db.password=123456
registration.url=
sync.url=http://master:8080/sync/corp-000
group.id=corp
external.id=000
job.purge.period.time.ms=7200000
job.routing.period.time.ms=5000
job.push.period.time.ms=10000
job.pull.period.time.ms=10000
initial.load.create.first=true
这里我只保留了实际的内容，不包含注释。
配置 store
这里的 store 也就是我的 slave 节点。
复制 symmetric 目录下的 samples/store-001.properties 文件到 engines 目录下：
$ cp samples/store-001.properties engines/
并修改此文件内容
$ vim engines/store-001.properties
修改后的内容如下：
engine.name=store-001
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://slave/sample
db.user=symmetric
db.password=123456
registration.url=http://master:8080/sync/corp-000
group.id=store
external.id=001
job.routing.period.time.ms=5000
job.push.period.time.ms=10000
job.pull.period.time.ms=10000
配置文件可执行
在默认的情况下，symmetric/bin 目录下的文件没有执行权限，所以这里我们要为这些文件添加可执行权限：
$ chmod 755 bin/*
创建数据库
$ mysql -usymmetric -p123456
mysql> create database sample;
创建数据表
自动化创建
在 symmetric 中默认已经给出了自动化的数据创建过程，不过这种自动化的创建有一些不足的地方，那就是数据不够完整。这样就会致使在后面自动化插入数据时出现找不到数据表的情况，所以这里我比较推荐你使用下面手动创建的方式。自动化的创建方式只作为参考：
创建指令
$ ./bin/symadmin --engine corp-000 create-sym-tables
创建结果
mysql> show tables;
+-----------------------------+
| Tables_in_sample |
+-----------------------------+
| sym_channel |
| sym_conflict |
| sym_data |
| sym_data_event |
| sym_data_gap |
| sym_extension |
| sym_extract_request |
| sym_file_incoming |
| sym_file_snapshot |
| sym_file_trigger |
| sym_file_trigger_router |
| sym_grouplet |
| sym_grouplet_link |
| sym_incoming_batch |
| sym_incoming_error |
| sym_load_filter |
| sym_lock |
| sym_node |
| sym_node_channel_ctl |
| sym_node_communication |
| sym_node_group |
| sym_node_group_channel_wnd |
| sym_node_group_link |
| sym_node_host |
| sym_node_host_channel_stats |
| sym_node_host_job_stats |
| sym_node_host_stats |
| sym_node_identity |
| sym_node_security |
| sym_outgoing_batch |
| sym_parameter |
| sym_registration_redirect |
| sym_registration_request |
| sym_router |
| sym_sequence |
| sym_table_reload_request |
| sym_transform_column |
| sym_transform_table |
| sym_trigger |
| sym_trigger_hist |
| sym_trigger_router |
| sym_trigger_router_grouplet |
+-----------------------------+
42 rows in set (0.00 sec)
手动创建
手动创建虽然比较繁琐，但是数据比较完整，整个过程也很顺利。
SQL
item
CREATE TABLE item(
item_id INTEGER PRIMARY KEY,
name VARCHAR(100)
);
item_selling_price
CREATE TABLE item_selling_price(
item_id INTEGER REFERENCES item(item_id),
store_id VARCHAR(5),
price DECIMAL(10,2),
cost DECIMAL(10,2),
PRIMARY KEY(item_id, store_id)
);
sale_transaction
CREATE TABLE sale_transaction(
tran_id INTEGER PRIMARY KEY,
store_id VARCHAR(5) NOT NULL,
workstation VARCHAR(3) NOT NULL,
day VARCHAR(10) NOT NULL,
seq INTEGER NOT NULL
);
sale_return_line_item
CREATE TABLE sale_return_line_item(
tran_id INTEGER PRIMARY KEY REFERENCES sale_transaction(tran_id),
item_id INTEGER NOT NULL REFERENCES item(item_id),
price DECIMAL(10,2) NOT NULL,
quantity INTEGER NOT NULL,
returned_quantity INTEGER
);
于是创建了如下 4 张数据表：
mysql> show tables;
+-----------------------+
| Tables_in_sample |
+-----------------------+
| item |
| item_selling_price |
| sale_return_line_item |
| sale_transaction |
+-----------------------+
修改 HOST
由于之前的配置文件中设置了 HOST 为 master，所以这里需要修改用户 symmetric 的 HOST。
mysql> UPDATE user SET HOST='%' WHERE user='symmetric';
mysql> FLUSH privileges;
生成分销系统表
在 symmetric 中默认已经给出了自动化生成分销系统表的方式，只要一句指令即可：
指令
$ ./bin/symadmin --engine corp-000 create-sym-tables
检查结果
查看 MySQL 中的数据表
mysql> show tables;
+-----------------------------+
| Tables_in_sample |
+-----------------------------+
| item |
| item_selling_price |
| sale_return_line_item |
| sale_transaction |
| sym_channel |
| sym_conflict |
| sym_data |
| sym_data_event |
| sym_data_gap |
| sym_extension |
| sym_extract_request |
| sym_file_incoming |
| sym_file_snapshot |
| sym_file_trigger |
| sym_file_trigger_router |
| sym_grouplet |
| sym_grouplet_link |
| sym_incoming_batch |
| sym_incoming_error |
| sym_load_filter |
| sym_lock |
| sym_node |
| sym_node_channel_ctl |
| sym_node_communication |
| sym_node_group |
| sym_node_group_channel_wnd |
| sym_node_group_link |
| sym_node_host |
| sym_node_host_channel_stats |
| sym_node_host_job_stats |
| sym_node_host_stats |
| sym_node_identity |
| sym_node_security |
| sym_outgoing_batch |
| sym_parameter |
| sym_registration_redirect |
| sym_registration_request |
| sym_router |
| sym_sequence |
| sym_table_reload_request |
| sym_transform_column |
| sym_transform_table |
| sym_trigger |
| sym_trigger_hist |
| sym_trigger_router |
| sym_trigger_router_grouplet |
+-----------------------------+
46 rows in set (0.00 sec)
填充数据
虽然上面说了一堆东西，但是还只是一堆空的数据表，如下我们就把 symmetric 自带的数据填充到数据表中。操作过程如下：
指令
$ ./bin/dbimport --engine corp-000 ./samples/insert_sample.sql
结果检查
mysql> select * from item_selling_price;
+----------+----------+-------+------+
| item_id | store_id | price | cost |
+----------+----------+-------+------+
| 11000001 | 001 | 0.20 | 0.10 |
| 11000001 | 002 | 0.30 | 0.20 |
+----------+----------+-------+------+
2 rows in set (0.00 sec)
启动 SymmetricDS
因为这里是两个节点之间的数据同步，所以我们需要启动两个节点：corp 和 store
start corp node
corp 设置开启的端口为 8080
$ ./bin/sym --engine corp-000 --port 8080
start store node
store 设置开启的端口为 9090
$ ./bin/sym --engine store-001 --port 9090
上面两个窗口的启动之后，会进入等待状态，所以如果有其他操作，就需要另外打开窗口了。
注册节点
这里还有一步需要处理就是注册节点，注册操作在 corp 和 store 启动之后进行。
$ ./bin/symadmin --engine corp-000 open-registration store 001
Log output will be written to /home/hadoop/symmetric/logs/symmetric.log
[] - AbstractCommandLauncher - Option: name=engine, value={corp-000}
[corp-000] - JdbcDatabasePlatformFactory - Detected database 'MySQL', version '5', protocol 'mysql'
[corp-000] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpmind.db.platform.mysql.MySqlDatabasePlatform
[corp-000] - MySqlSymmetricDialect - The DbDialect being used is org.jumpmind.symmetric.db.mysql.MySqlSymmetricDialect
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - StagingManager - The staging directory was initialized at the following location: /home/hadoop/symmetric/tmp/corp-000
[corp-000] - ClusterService - This node picked a server id of master
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - ClientExtensionService - Found 9 extension points from spring that will be registered
[corp-000] - RegistrationService - Registration was reopened for 001
Opened registration for node group of 'store' external ID of '001'
发送初始负载
发送初始负载的目的是将最开始的时候 corp 节点数据表中的数据同步到 store 节点中。如果你开始的数据表中没有这些数据，那么就可以不用发送此负载了。
指令
$ ./bin/symadmin --engine corp-000 reload-node 001
结果
Log output will be written to /home/hadoop/symmetric/logs/symmetric.log
[] - AbstractCommandLauncher - Option: name=engine, value={corp-000}
[corp-000] - JdbcDatabasePlatformFactory - Detected database 'MySQL', version '5', protocol 'mysql'
[corp-000] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpmind.db.platform.mysql.MySqlDatabasePlatform
[corp-000] - MySqlSymmetricDialect - The DbDialect being used is org.jumpmind.symmetric.db.mysql.MySqlSymmetricDialect
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - StagingManager - The staging directory was initialized at the following location: /home/hadoop/symmetric/tmp/corp-000
[corp-000] - ClusterService - This node picked a server id of master
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - ClientExtensionService - Found 9 extension points from spring that will be registered
Successfully enabled initial load for node 001
测试验证
这里的验证为在 corp(即 master) 节点上修改一条数据，观察两个节点中数据表的变化。
在 corp 节点的数据库中执行相应 SQL 语句：
更新
mysql> UPDATE item_selling_price SET price='0.21' WHERE item_id='11000001' AND store_id='001';
corp
mysql> select * from item_selling_price;
+----------+----------+-------+------+
| item_id | store_id | price | cost |
+----------+----------+-------+------+
| 11000001 | 001 | 0.21 | 0.10 |
| 11000001 | 002 | 0.30 | 0.20 |
+----------+----------+-------+------+
2 rows in set (0.00 sec)
store
mysql> select * from item_selling_price;
+----------+----------+-------+------+
| item_id | store_id | price | cost |
+----------+----------+-------+------+
| 11000001 | 001 | 0.21 | 0.10 |
+----------+----------+-------+------+
1 row in set (0.00 sec)
插入
注意这里不要只添加一条记录，因为涉及到了数据库的触发器，我们虚拟了一条交易记录，如下：
mysql> INSERT INTO item (item_id, name) VALUES (110000055, 'Soft Drink');
mysql> INSERT INTO item_selling_price (item_id, store_id, price) VALUES (110000055, '001', 0.65);
mysql> INSERT INTO item_selling_price (item_id, store_id, price) VALUES (110000055, '002', 1.00);
当一条交易被完成之后，我们再去检查一下 store 节点中的数据信息：
mysql> select * from item_selling_price;
+-----------+----------+-------+------+
| item_id | store_id | price | cost |
+-----------+----------+-------+------+
| 11000001 | 001 | 0.22 | 0.10 |
| 110000055 | 001 | 0.65 | NULL |
+-----------+----------+-------+------+
2 rows in set (0.00 sec)
mysql> select * from item;
+-----------+------------+
| item_id | name |
+-----------+------------+
| 11000001 | Yummy Gum |
| 110000055 | Soft Drink |
+-----------+------------+
2 rows in set (0.00 sec)
数据的确是有增加的，验证完成。
Ref
- http://blog.csdn.net/xichenguan/article/details/41720861
征集
如果你也需要使用ProcessOn这款在线绘图工具，可以使用如下邀请链接进行注册：
https://www.processon.com/i/56205c2ee4b0f6ed10838a6d
类似资料：