MySQLMySQL无感知不停机数据迁移方案整理

Posted 2023-04-10 后端研发Marion

目录

1、我有一张表daily_hits_count，需要从一个数据库迁移到一个新的数据库，同时，旧的数据库也是需要保留，如何处理

2、这两个库在不同的实例

3、如何只做增量的数据迁移

参考资料

---

1、我有一张表daily_hits_count，需要从一个数据库迁移到一个新的数据库，同时，旧的数据库也是需要保留，如何处理

您可以按照以下步骤将旧的数据库中的daily_hits_count表迁移到新的数据库。

1. 在新的数据库中创建daily_hits_count表

   您可以使用以下语句在新的数据库中创建daily_hits_count表：

   CREATE TABLE daily_hits_count (
     date DATE PRIMARY KEY,
     hits INT NOT NULL
   );
   

2. 在旧的数据库中导出daily_hits_count表

   使用以下mysqldump命令在旧的数据库中导出daily_hits_count表到一个.sql文件中：

   mysqldump -u username -p old_db_name daily_hits_count > daily_hits_count.sql
   

   将username 替换为旧数据库中的用户名， old_db_name 替换为旧数据库的名称。

3. 将.sql文件导入新的数据库

   在新的数据库中使用以下命令将.sql文件导入新的数据库中：

   mysql -u username -p new_db_name < daily_hits_count.sql
   

   将username 替换为新数据库中的用户名，new_db_name 替换为新的数据库名。

4. 将旧的数据库重命名

   您可以使用以下语句将旧的数据库重命名：

   RENAME DATABASE old_db_name TO new_db_name_old; 
   

   这将把旧数据库的名称更改为new_db_name_old，并保留到新数据库的 daily_hits_count 表的数据。这意味着您可以继续访问旧数据库的数据。

以上步骤将会将旧的数据库中的daily_hits_count表迁移到新的数据库中，并且保留了旧的数据库。

2、这两个库在不同的实例

如果待迁移的数据库位于不同的MySQL实例中，您可以采用以下步骤将旧数据库中的 daily_hits_count 表迁移至新的数据库实例。

1. 在新的实例中创建daily_hits_count表

   您可以使用以下语句在新的数据库实例中创建daily_hits_count表：

   CREATE TABLE daily_hits_count (
     date DATE PRIMARY KEY,
     hits INT NOT NULL
   );
   

2. 在旧实例中使用mysqldump导出数据

   在旧实例的命令行中执行以下mysqldump命令来导出daily_hits_count表到.sql文件中：

   mysqldump -u username -p old_db_name daily_hits_count > daily_hits_count.sql
   

   将 username 替换为旧实例的用户名，old_db_name 替换为旧实例中的数据库名称。

3. 将备份文件传输到新实例

   将步骤2中导出的备份文件 daily_hits_count.sql 从旧实例复制到新实例。这可以通过多种方法实现，如scp，sftp等。

4. 在新实例中导入数据

   在新实例的命令行中执行以下命令从备份文件导入数据：

   mysql -u username -p new_db_name < daily_hits_count.sql
   

   将 username 替换为新实例中的用户名，new_db_name 替换为新实例中的数据库名。

5. 验证数据导入

   在新实例中使用以下命令查看导入的数据：

   SELECT * FROM daily_hits_count;
   

以上步骤将会在将旧数据库中的 daily_hits_count 表迁移到新的实例中，但是旧实例也将继续保留并且可以随时查询。需要注意的是，如果您的实例之间的网络连接速度较慢，此方法可能需要一些时间来进行数据迁移。

3、如何只做增量的数据迁移

如果您只需要对 daily_hits_count 表中修改或新增的数据进行增量迁移而不是全量迁移，可以使用MySQL Replication进行数据同步。MySQL Replication是MySQL在多个数据库之间提供实时数据复制的一种方式，在主数据库上进行的更改将自动在从数据库上进行复制。下面是一些步骤及说明，可以以此来操作：

1. 配置主从数据库

   在新实例中创建一台MySQL从服务器，并配置主从复制。主服务器上的更改将自动复制到从服务器上。

2. 在新实例中创建daily_hits_count表

   在新实例中创建一个新的daily_hits_count表，此表应具有与旧实例中的表相同的模式。请参考之前提供的创建表的步骤。

3. 在旧实例上启用binlog

   您需要在旧实例中启用binlog以允许从服务器复制更改。添加以下配置到您的旧实例的my.cnf文件中：

   # 开启binlog
   log_bin = /var/log/mysql/mysql-bin.log
   # 设置binlog格式为row格式
   binlog-format = row
   

   确保更改已保存，并重新启动MySQL服务器。

4. 从旧实例导入数据

   导入数据之前，请停止所有对daily_hits_count表的更改。在旧实例中执行以下SQL语句以锁定daily_hits_count表，并启动复制：

   FLUSH TABLES WITH READ LOCK;
   SHOW MASTER STATUS;
   

   SHOW MASTER STATUS; 将显示一个类似于以下输出的内容：

   +------------------+----------+--------------+------------------+
   | File             | Position | Binlog_Do_SQl | Binlog_Ignore_SQL|
   +------------------+----------+--------------+------------------+
   | mysql-bin.000001 |     1064 |              |                  |
   +------------------+----------+--------------+------------------+
   

   记下“File”和“Position”，在下一步中使用。

   在旧实例上执行以下命令导出daily_hits_count表中的数据，并将其传输到新实例：

   mysqldump -u username -p --skip-lock-tables --single-transaction --set-gtid-purged=OFF old_db_name daily_hits_count > daily_hits_count_incremental.sql
   

   将 username 替换为旧实例中的用户名， old_db_name 替换为旧实例中的数据库名称。 --skip-lock-tables选项用于允许mysqldump在不锁定表的情况下导出数据。 --single-transaction选项将会产生一个一致性的快照。 --set-gtid-purged=OFF选项用于关闭GTID（全局事务标识符）。

5. 在新实例中导入增量数据

   在新实例中执行以下命令以导入增量数据：

   mysql -u username -p new_db_name < daily_hits_count_incremental.sql
   

   将 username 替换为新实例中的用户名， new_db_name 替换为新实例中的数据库名称。

6. 在新实例中启动复制

   在新实例中执行以下SQL语句以开始复制：

   CHANGE MASTER TO
     MASTER_HOST = 'old_instance_host',
     MASTER_USER = 'replication_username',
     MASTER_PASSWORD = 'replication_password',
     MASTER_LOG_FILE = 'binlog_file_name',
     MASTER_LOG_POS = binlog_position;
   
   START SLAVE;
   

   将 old_instance_host 替换为旧实例的主机名或IP地址， replication_username 和 replication_password 分别为设置的主从复制的用户名和密码， binlog_file_name 和 binlog_position 分别为在第四步中获得的master状态的日志文件名和位置。

   启动从服务器的复制并开始读取旧服务器上的binlog。从服务器将开始在新服务器上写入所有接收到的更改，而无需重新导入数据。

7. 验证数据同步

   在新实例中使用以下命令验证数据已成功复制：

   SELECT * FROM daily_hits_count;
   

   如果数据同步成功，将在新实例的输出中看到daily_hits_count表中的数据。

使用上述步骤，您可以在旧实例的daily_hits_count表中进行更改和添加数据，并通过MySQL Replication功能将增量更改同步到新实例中的daily_hits_count表中。

参考资料

线上数据库迁移的几种方法_数据库迁移怎么操作_Koikoi123的博客-CSDN博客

数据库迁移有哪些做法? - 知乎

 

如何把系统不停机迁移到分库分表的？

假设，你现有有一个单库单表的系统，在线上在跑，假设单表有600万数据

3个库，每个库里分了4个表，每个表要放50万的数据量

假设你已经选择了一个分库分表的数据库中间件，sharding-jdbc，mycat，都可以

（1）停机迁移方案

我先给你说一个最low的方案，就是很简单，大家伙儿凌晨12点开始运维，网站或者app挂个公告，说0点到早上6点进行运维，无法访问。。。。。。

接着到0点，停机，系统挺掉，没有流量写入了，此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具，此时直接跑起来，然后将单库单表的数据哗哗哗读出来，写到分库分表里面去。

导数完了之后，就ok了，修改系统的数据库连接配置啥的，包括可能代码和SQL也许有修改，那你就用最新的代码，然后直接启动连到新的分库分表上去。

验证一下，ok了，完美，大家伸个懒腰，看看看凌晨4点钟的北京夜景，打个滴滴回家吧

但是这个方案比较low，谁都能干，我们来看看高大上一点的方案

（2）双写迁移方案

这个是我们常用的一种迁移方案，比较靠谱一些，不用停机，不用看北京凌晨4点的风景

简单来说，就是在线上系统里面，之前所有写库的地方，增删改操作，都除了对老库增删改，都加上对新库的增删改，这就是所谓双写，同时写俩库，老库和新库。

然后系统部署之后，新库数据差太远，用之前说的导数工具，跑起来读老库数据写新库，写的时候要根据gmt_modified这类字段判断这条数据最后修改的时间，除非是读出来的数据在新库里没有，或者是比新库的数据新才会写。

接着导完一轮之后，有可能数据还是存在不一致，那么就程序自动做一轮校验，比对新老库每个表的每条数据，接着如果有不一样的，就针对那些不一样的，从老库读数据再次写。反复循环，直到两个库每个表的数据都完全一致为止。

接着当数据完全一致了，就ok了，基于仅仅使用分库分表的最新代码，重新部署一次，不就仅仅基于分库分表在操作了么，还没有几个小时的停机时间，很稳。所以现在基本玩儿数据迁移之类的，都是这么干了。