如何对MySQL数据库中的数据进行实时同步

Posted 2023-03-20

实现两个mysql数据库之间同步同步原理：
MySQL 为了实现replication 必须打开bin-log 项，也是打开二进制的MySQL 日志记录选项。MySQL 的bin log 二

进制日志，可以记录所有影响到数据库表中存储记录内容的sql 操作，如insert / update / delete 操作，而不记录

select 这样的操作。因此，我们可以通过二进制日志把某一时间段内丢失的数据可以恢复到数据库中（如果二进制日

志中记录的日志项，包涵数据库表中所有数据，那么， 就可以恢复本地数据库的全部数据了）。 而这个二进制日志，

如果用作远程数据库恢复，那就是replication 了。这就是使用replication 而不用sync 的原因。这也是为什么要设

置bin-log = 这个选项的原因。

在同步过程中，最重要的同步参照物，就是同步使用那一个二进制日志文件，从那一条记录开始同步。下面就介绍

下怎样实现两个Mysql数据库之间的主从同步。

一、 概述
　 MySQL从3.23.15版本以后提供数据库复制（replication）功能，利用该功能可以实现两个数据库同步、主从模式、

互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。
二、 环境
操作系统：Linux 2.6.23.1-42.fc8 # SMP（不安装XEN）
Mysql版本：5.0.45-4.fc8
设备环境：PC（或者虚拟机）两台
三、 配置
数据库同步复制功能的设置都在MySQL的配置文件中体现，MySQL的配置文件（一般是my.cnf）：在本环境下

为/etc/my.cnf。
3.1 设置环境：
IP的设置：
A主机 IP：10.10.0.119
Mask：255.255.0.0
B主机 IP：10.10.8.112
Mask：255.255.0.0
在IP设置完成以后，需要确定两主机的防火墙确实已经关闭。可以使用命令service iptables status查看防火墙状态

。如果防火墙状态为仍在运行。使用service iptables stop来停用防火墙。如果想启动关闭防火墙，可以使用setup命

令来禁用或定制。
最终以两台主机可以相互ping通为佳。
3.2 配置A主(master) B从(slave)模式
3.2.1 配置A 为master
　 1、增加一个用户同步使用的帐号：
GRANT FILE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
GRANTREPLICATION SLAVE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
赋予10.10.8.112也就是Slave机器有File权限，只赋予Slave机器有File权限还不行，还要给它REPLICATION SLAVE的权

限才可以。
2、增加一个数据库作为同步数据库：
create databbse test;
3、创建一个表结构：
create table mytest (username varchar(20),password varchar(20));
4、修改配置文件：
修改A的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：
server-id = 1 #Server标识
log-bin
binlog-do-db=test #指定需要日志的数据库

5、重起数据库服务：
service mysqld restart
查看server-id：
show variable like ‘server_id’；
实例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 1 |
+---------------+-------+
1 row in set (0.00 sec)

6、用show master status/G命令看日志情况。
正常为：
mysql> show master status/G
*************************** 1. row ***************************
File: mysqld-bin.000002
positiion: 198
Binlog_Do_DB: test,test
Binlog_Ignore_DB:
1 row in set (0.08 sec)
3.2.2 配置B 为slave
1、增加一个数据库作为同步数据库：
create databbse test;
2、创建一个表结构：
create table mytest (username varchar(20),password varchar(20));
3、修改配置文件：
修改B的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：
server-id=2
master-host=10.10. 0.119
master-user=backup #同步用户帐号
master-password=1234
master-port=3306
master-connect-retry=60 #预设重试间隔60秒
replicate-do-db=test #告诉slave只做backup数据库的更新

5、重起数据库服务：
service mysqld restart
查看server-id：
show variables like ‘server_id’；
实例：
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 2 |
+---------------+-------+
1 row in set (0.00 sec)

6、用show slave status/G命令看日志情况。
正常为：
mysql> show slave status/G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.10.0.119
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysqld-bin.000001
Read_Master_Log_Pos: 98
Relay_Log_File: mysqld-relay-bin.000003
Relay_Log_Pos: 236
Relay_Master_Log_File: mysqld-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: test,test
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 98
Relay_Log_Space: 236
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
1 row in set (0.01 sec)

3.2.3 验证配置
分别使用insert, delete , update在A主机进行增删改查数据库；查看B主机的数据库是否与A主机一致；若一致，则配

置成功。
3.3双机互备模式
如果在A主机加入slave设置，在B主机加入master设置，则可以做B->A的同步。
1、在A主机的配置文件中 mysqld配置项加入以下设置：
master-host=10.10.8.112
master-user=backup
master-password=1234
replicate-do-db=test
master-connect-retry=10

2、在B的配置文件中 mysqld配置项加入以下设置：
log-bin
binlog-do-db=test

　　注意：当有错误产生时，*.err日志文件同步的线程退出，当纠正错误后，要让同步机制进行工作，运行slave

start。

重起A、B机器，则可以实现双向的热备份。

总之，成功完成以上配置后，在主服务器A的test库里添加数据或删除数据，在从服务器B的test库里马上也能

看到相应的变更。两台服务器的同步操作可以说是瞬间完成的。 参考技术A

具体操作：

1、在分析型数据库上创建目标表，数据更新类型为实时写入，字段名称和MySQL中的建议均相同；

2、在阿里云数据传输的控制台上创建数据订阅通道，并记录这个通道的ID；

3、 配置dts-ads-writer/app.conf文件，配置方式如下：所有配置均保存在app.conf中，运行前请保证配置正确；修改配置后，请重启writer，基本配置：

注意事项：

1、RDS for MySQL表和分析型数据库中表的主键定义必须完全一致；如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键，建议先停止writer进程；

2、一个插件进程中分析型数据库db只能是一个，由adsJdbcUrl指定；

3、一个插件进程只能对应一个数据订阅通道；如果更新通道中的订阅对象时，需要重启进程。

如何跨Oracle数据库实现表级别的实时同步

一. 前言

这个问题是上一篇文章《Oracle跨数据库实现定时同步指定表中的数据》中所提问题的进一步延伸。考虑到对数据的实时性要求比较高，设置成定时同步，有点不妥，需要改善升级更改为实时同步。

下面介绍到的方式，严格意义上说，并没有实现实时同步。是通过Oracle数据库创建同义词+DBlink的方式，来建立远程映射。在查看数据时，直接去远程查询源库中的表。

而我一直关注的是如何进行同步数据，却没有考虑到可以建立映射。另外，还有一点就是需要交代，就是同步到目标数据库中的表，不进行增删改操作，只进行查询的操作，这也是可以使用同义词方式解决问题的关键。

这种解决思路的出现，多亏了在CSDN问答时，热心网友的回答，下面就是问题详情描述。

二. 问题描述

有两个Oracle数据库，分别布置在不同的服务器上，系统均为windows2003；
这里暂且说成是一个主数据库和从数据库：
(1) 主数据库:oracle_A；
(2) 从数据库:oracle_B；
在oracle_A中有一个表table_A与oracle_B中的表table_B结构相同；
我是处在oracle_B，oracle_A数据库分配给我有一个访问oracle_A表table_A的用户，该用户只拥有查询的权限；
另外，需要说明的一点，就是在oracle_B处,只需对table_B表进行查询的操作，不进行其他增删改的操作。

场景介绍完了，我的问题的是,如何在oracle_A中表table_A发生变化时,实时更新同步到oracle_B的table_B中?

我原来的处理方式:

通过建立远程连接DBLink+JOB定时任务+存储过程的方式,实现了定时同步更新,但不能做到实时同步。

三. 采用同义词+DB_Link的方式结果步骤

之所以能够选择采用同义词的方式，处理这个问题。主要还是源于在问题描述中提到一个点，那就是我们只需要对同步后的表进行查询操作。这点是使用同义词方式的重要要素。

下面详细模拟一下整个实验测试的过程：

（1）首先在Oracle_A端创建一个对table_A只有查询功能的用户
<1> 创建用户
sqlplus /nolog
conn /as sysdba;
create user username identified by password;

<2> 查看所有的用户列表
用户创建完成后,查看用户是否创建成功
select * from all_users;

<3>授予权限
为了能够保证能够登陆,必须赋予如下权限

--授予username用户创建session的权限,即登陆权限
grant create session to username;

--授予username用户使用表空间的权限
grant unlimited tablespace to username;

--oracle对权限管理比较严谨,普通用户之间也是默认不能互相访问的,需要互相授权.
--如果scott用户要授权给username用户查看自己的test表的权限;
sqlplus scott/tiget@localhost:1521/orcl

--授予username用户查看指定的权限
grant select on test to username;

--撤销权限
基本语法同grant,关键字为revoke;

（2）验证用户是否可以成功登录，并进行访问授权的表
--使用sqlplus登录，并进行查询
sqlplus username/password@localhost:1521/orcl;
select * from scott.test;

注意：查询表时，务必带上用户名，说明是哪个用户下的表。

（3）创建远程连接DB_Link
<1> 创建远程连接 db_link
create public database link db32　connect to tianzhi_test identified by "tianzhi_test" using \'192.168.56.6:1521/ORCL\'

<2> 测试远程连接是否成功
select * from tianzhi_smart.zh_item_news@db32;

（4）在Oracle_B端创建同义词
<1> 使用sqlplus登录自己的用户
sqlplus tianzhi_smart/tianzhi_smart@localhost:1521/orcl

<2> 创建同义词
create or replace public synonym TEST1130 for scott.TEST@db32;

<3> 查询测试
select * from TEST1130;
可以看到这与在Oracle_A源数据库中查到的table_A表中的数据一样.

注意事项:
当远程查询的数据库中包含BLOB字段时,会报出如下错误.

ORA-22992: 无法使用从远程表选择的 LOB 定位器

当出现这个错误的时候，那是因为跨库连接查询中的表中存在BLOB类型的字段，所以一定要注意，所有表中存在blob类型字段，

不能用 select * from 连接的表
不能将blob类型的字段出现在脚本中。

如果这些blob类型的字段一定要导过来，可以先建立临时表再插入本地表，方法如下.在pl/sql中执行

第一步 建临时表
create global temporary table foo ( X BLOB )
on commit delete rows;
第二步 插入本地表
insert into foo select blobcolumn from remoteTable@dl_remote ; 参考技术A oracle的standby数据库，利用联机重做日志将主数据库与standby数据库之间保持同步，一般用于灾难恢复，可以试着搭建一下 常见 goldengate active dataguard stream replication本回答被提问者采纳