Java代码实现两个数据库之间的数据同步

Posted 北白川鳕子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Java代码实现两个数据库之间的数据同步相关的知识,希望对你有一定的参考价值。

需求背景

有A&B两个数据库,以A为主,B要同步A上的数据,同步涉及数据的增删改查,且要每天同步一次。条件限制是,只能调用中台提供的接口操作数据库,不能写SQL。

解决思路

由于只能通过中台调用接口操作数据库,所以解决方法被限制在后端代码层面。至于每天执行一次,使用SpringBoot的定时任务注解@Scheduled就可以了。

1、遍历遍历再遍历

对于增加和修改,将A库中所有的数据通过接口拿到一个List里面,遍历这个List,每一趟检查B库中是否存在主键对应的数据,如果存在,则将数据更新,如果不存在,则直接插入。
对于A库中删除的数据,需要反向遍历,即将B库的数据拿出来,将数据进行遍历对比,如果发现B库中有的数据而A库中没有,则删除B库中的数据。

2、B中数据全删了,把A中的数据写上

如题,通过中台拿到A中的数据,然后把B库清空,再写A库的数据。
逻辑十分简单

3、内存中对比变化,只把变化落盘到数据库

大致思路是通过数据中台拿到A库的List和B库的List,比对这两个List的差别,只把差别写到数据库。
将A库中的数据拿到newList中,B库中的数据拿到oldList中,对newList进行遍历,每次遍历都寻找oldList中是否存在与newList对应的数据(通过主键作为对应标识);如果存在,则判断两个对象是否相等(要重写equals()和hashcode()方法),相等则直接从两个队列中剔除这个数据,不相等则调用接口进行数据更新,更新完了之后将更新过的数据从两个List中剔除;这样遍历完了之后,newList中剩下的没被剔除的数据就是B库需要新增的数据,oldList中剩下的没被剔除的数据就是B库需要删除的数据,需要修改的数据在遍历过程中已完成修改。
这个方案的伪码如下:

//A库中的数据同步到B库伪码

//A库中的数据拿到newList中,B库中的数据拿到oldList
List<Data> newDataList;
List<Data> oldDataList;

//从数据库中取数据......

//开始遍历比对
for (Data newData : newDataList) 
	for (Data oldData : oldDataList) 
		//通过主键判断oldData与newData是否为同一条记录(对应)
		if (newData.getId().equals(oldData.getId())) 
			//主键对应上了,下面判断数据是否发生更改
			if (!newData.equals(oldData)) 
				//新旧数据不同,发生了更改,将更改落盘到数据库
				dataService.updateData(newData);
			 else 
				//新旧数据一致,说明没有发生更改,什么也不做
			
			//新旧数据比对并操作后,将这两个数据从List中“移除”
			newData = null;
			oldData = null;
		
		//两个数据主键没有对应上,说明不为同一条记录,继续遍历
	
	//遍历完成之后,如果新数据在旧数据中有主键对应,则肯定会被置null
	//没被置null说明这条新数据是新增的,需要调用接口落盘
	if (newData != null) 
		dataService.insertData(newData);
	


//遍历完新数据后,oldDataList中剩下的没被置null的都是需要删除的
for (Data oldData : oldDataList) 
	if (oldData != null) 
		dataService.deleteDataById(oldData.getId());
	


//此时新旧数据库的内容就同步成一样的了

4、关于同步的建议

还是需要根据项目的需求来进行数据同步,比如有些场景对同步的速度没啥要求,再比如有些场景的数据量非常庞大,如果拿到内存中会oom。对于时间不敏感的同步,比如每天凌晨同步一次,则怎么稳定怎么来,逻辑怎么简单怎么来,哪怕要不停遍历,不要以为自己的逻辑想得太巧妙了,实际经常暗藏bug。

实现两个MySQL数据库之间的主从同步

一、    概述
MySQL从3.23.15版本以后提供数据库复制(replication)功能,利用该功能可以实现两个数据库同步、主从模式、互相备份模式的功能
二、    环境
操作系统:Linux 2.6.23.1-42.fc8 # SMP(不安装XEN)
Mysql版本:5.0.45-4.fc8
设备环境:PC(或者虚拟机)两台
三、    配置
数据库同步复制功能的设置都在MySQL的配置文件中体现,MySQL的配置文件(一般是my.cnf):在本环境下为/etc/my.cnf。
3.1 设置环境:
 IP的设置:
A主机 IP:10.10.0.119#p#分页标题#e#
      Mask:255.255.0.0
B主机 IP:10.10.8.112
      Mask:255.255.0.0
在IP设置完成以后,需要确定两主机的防火墙确实已经关闭。可以使用命令service iptables status查看防火墙状态。如果防火墙状态为仍在运行。使用service iptables stop来停用防火墙。如果想启动关闭防火墙,可以使用setup命令来禁用或定制。
最终以两台主机可以相互ping通为佳。
3.2 配置A主(master) B从(slave)模式
3.2.1 配置A 为master
   1、增加一个用户同步使用的帐号:
  GRANT FILE ON *.* TO ‘backup’@‘10.10.8.112‘ IDENTIFIED BY ‘1234’;
GRANTREPLICATION SLAVE ON *.* TO ‘backup’@‘10.10.8.112‘ IDENTIFIED BY ‘1234’;#p#分页标题#e#
赋予10.10.8.112也就是Slave机器有File权限,只赋予Slave机器有File权限还不行,还要给它REPLICATION SLAVE的权限才可以。
2、增加一个数据库作为同步数据库:
create database test;
3、创建一个表结构:
      create table mytest (username varchar(20),password varchar(20));
4、修改配置文件:
            修改A的/etc/my.cnf文件,在my.cnf配置项中加入下面配置:
server-id = 1      #Server标识
log-bin
binlog-do-db=test  #指定需要日志的数据库
#p#分页标题#e#            
5、重起数据库服务:
 service mysqld restart
 查看server-id:
 show variable like ‘server_id’;
实例:
mysql> show variables like ‘server_id‘;
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id    | 1    |
+---------------+-------+#p#分页标题#e#
1 row in set (0.00 sec)
 
6、用show master status/G命令看日志情况。
      正常为:
mysql> show master status/G
*************************** 1. row ***************************
File: mysqld-bin.000002
Position: 198
Binlog_Do_DB: test,test
Binlog_Ignore_DB:
1 row in set (0.08 sec)
#p#分页标题#e#3.2.2 配置B 为slave
1、增加一个数据库作为同步数据库:
create database test;
2、创建一个表结构:
create table mytest (username varchar(20),password varchar(20));
3、修改配置文件:
            修改B的/etc/my.cnf文件,在my.cnf配置项中加入下面配置:
server-id=2
master-host=10.10. 0.119
master-user=backup    #同步用户帐号
master-password=1234
#p#分页标题#e#master-port=3306
master-connect-retry=60 #预设重试间隔60秒
replicate-do-db=test    #告诉slave只做backup数据库的更新
            
5、重起数据库服务:
 service mysqld restart
 查看server-id:
 show variables like ‘server_id’;
实例:
mysql> show variables like ‘server_id‘;
+---------------+-------+
#p#分页标题#e#| Variable_name | Value |
+---------------+-------+
| server_id    | 2    |
+---------------+-------+
1 row in set (0.00 sec)
 
6、用show slave status/G命令看日志情况。
      正常为:
mysql> show slave status/G
*************************** 1. row ***************************
            Slave_IO_State: Waiting for master to send event
#p#分页标题#e#                Master_Host: 10.10.0.119
                Master_User: backup
                Master_Port: 3306
              Connect_Retry: 60
            Master_Log_File: mysqld-bin.000001
        Read_Master_Log_Pos: 98
            Relay_Log_File: mysqld-relay-bin.000003
              Relay_Log_Pos: 236
      Relay_Master_Log_File: mysqld-bin.000001
          Slave_IO_Running: Yes
          Slave_SQL_Running: Yes#p#分页标题#e#
            Replicate_Do_DB: test,test
        Replicate_Ignore_DB:
        Replicate_Do_Table:
    Replicate_Ignore_Table:
    Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
                Last_Errno: 0
                Last_Error:
              Skip_Counter: 0
        Exec_Master_Log_Pos: 98
            Relay_Log_Space: 236#p#分页标题#e#
            Until_Condition: None
            Until_Log_File:
              Until_Log_Pos: 0
        Master_SSL_Allowed: No
        Master_SSL_CA_File:
        Master_SSL_CA_Path:
            Master_SSL_Cert:
          Master_SSL_Cipher:
            Master_SSL_Key:
      Seconds_Behind_Master: 0
1 row in set (0.01 sec)#p#分页标题#e#
 
 
3.2.3 验证配置
分别使用insert, delete , update在A主机进行增删改查数据库;查看B主机的数据库是否与A主机一致;若一致,则配置成功。
3.3双机互备模式
如果在A主机加入slave设置,在B主机加入master设置,则可以做B->A的同步。
1、在A主机的配置文件中 mysqld配置项加入以下设置:
master-host=10.10.8.112
master-user=backup
master-password=1234
replicate-do-db=test#p#分页标题#e#
master-connect-retry=10
 
2、在B的配置文件中 mysqld配置项加入以下设置:
log-bin
binlog-do-db=test
 
  注意:当有错误产生时,*.err日志文件同步的线程退出,当纠正错误后,要让同步机制进行工作,运行slave start。
 
重起A、B机器,则可以实现双向的热备份。
四、    常见问题及解决
1、Slave机器的权限问题,不但要给slave机器File权限,还要给它REPLICATION SLAVE的权限。#p#分页标题#e#
2、在修改完Slave机器/etc/my.cnf之后,slave机器的mysql服务启动之前,记得要删除掉master.info
3、在show master status或着show slave status不正常时,看看.err是怎样说的。
4、Slave上Mysql的Replication工作有两个线程, I/O thread和SQL thread。I/O的作用是从master 3306端口上把它的binlog取过来(master在被修改了任何内容之后,就会把修改了什么写到自己的binlog等待slave更新),然后写到本地的relay-log,而SQL thread则是去读本地的relay-log,再把它转换成本Mysql所能理解的语句,于是同步就这样一步一步的完成.决定I/O thread的是/var/lib/mysql/master.info,而决定SQL thread的是/var/lib/mysql/relay-log.info.
5、启动slave,命令用start slave;重新启动用restart slave
转载于:http://www.itxuexiwang.com/a/shujukujishu/2016/0302/201.html?1457018614

以上是关于Java代码实现两个数据库之间的数据同步的主要内容,如果未能解决你的问题,请参考以下文章

求助编程实现数据库同步问题(java)

Java 两个项目之间如何传数据

java实现同步的方法

java的线程之间如何进行消息传递

java多线程采集,多线程数据同步的问题。 怎么做同步啊。。

java多线程有几种实现方法?线程之间如何同步