ZCBUS数据交换平台实现MYSQL-POSTGRESQL双向数据同步

一、准备工作

        在源库和目标库分别创建一张辅助表，名为filter_trans_tbl，数据同步用户需要有对这张表的DML权限

mysql>CREATE TABLE to_pg.filter_trans_tbl(ctlid INT, thread_id INT, COUNT BIGINT, PRIMARY KEY(ctlid,thread_id));  --创建MYSQL辅助表
mysql>grant select,insert,update,delete on to_pg.filter_trans_tbl to zcbus;  --授权给ZCBUS用户DML权限

注：PG数据库同样需要建表及赋权，但是需要注意SCHEMA是否存在，可使用PUBLIC或创建ZCBUS专用SCHEMA，此处不列举SQL

二、配置MYSQL到PG的正向同步

        1、数据发布

        点击发布-新增，创建MYSQL发布节点（例：10924），填写源数据库信息，并修改如图2中参数，测试连接通过后提交，再选择需要同步的数据，并发布即可

图1 

图2

        2、策略管理

        点击策略管理-新增，创建一个策略，并输入策略名（例：mysql_to_pg_shuang），将发布节点（例：10924）中的表加入到该策略中，并分配给订阅客户端（例：10025），确定即可

 图3

        3、订阅

        点击订阅，找到图3中的订阅客户端（例：10025） ，在数据库管理中新增目标数据库的相关信息，确定提交后测试连接通过即可

 图4

        完成后回到订阅页面，找到分配过来的策略（例：mysql_to_pg_shuang），点击右侧 配置 订阅通道

 图5

        完成后点击右侧数据表操作下的 属性 ，并修改两个参数real_sql_mode、filter_trans_table，如下图所示

       上图中 publi.filter_trans_tbl为准备工作创建的辅助表

         修改完成提交后，点击右侧数据表操作下的数据表，根据需求是否修改表名大小写及目标库名（在目标库是PG的情况下，修改目标库名实际修改的是SCHEMA名）

 图6

        发起全量订阅即可完成MYSQL到PG的正向同步

 图7

三、配置MYSQL到PG的反向同步

        1、数据发布

        点击发布-新增，创建PG发布节点（例：10926），填写源数据库信息，并修改如下图中参数，测试连接通过后提交，再选择需要同步的数据，并发布即可

图8

图9

         注：双向同步时，反向同步的表应该与正向同步的表保持一持

        2、策略管理

        点击策略管理-新增，创建一个策略，并输入策略名（例：pg_to_mysql_shuang），将发布节点（例：10926）中的表加入到该策略中，并分配给订阅客户端（例：10025），确定即可

图10

        3、订阅

        点击订阅，找到图10中的订阅客户端（例：10025） ，在数据库管理中新增目标数据库的相关信息，确定提交后测试连接通过即可

图11

        完成后回到订阅页面，找到分配过来的策略（例：pg_to_mysql_shuang），点击右侧 配置 订阅通道

图12

         完成后点击右侧数据表操作下的 属性 ，并修改两个参数load_with_tag、filter_trans_table，如下图所示

        上图中的表名为准备工作创建的辅助表

         修改完成提交后，点击右侧数据表操作下的数据表 按钮，根据实际情况是否修改表名大小写及目标库名

         修改完成后，点击 配置类型-开启增量订阅[时间]，选择一个合适的时间，直接开启增量订阅即可（一般情况，如果确认源库和目标库在做同步之前都是没有数据进入到库中的话，可以先择时间为此刻，见下图）

        选择完成后，同步表的订阅状态会变成 增量允许，此时，MYSQL-PG的双向同步即配置完成

        如有软件方面疑问，请搜索官方支持群：1018885847

另附ZCBUS软件下载地址及安装使用说明：