原创关于表结构更改的大量数据的迁移方案

Posted DCTANT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了原创关于表结构更改的大量数据的迁移方案相关的知识,希望对你有一定的参考价值。

前言

由于公司要求做产品之间的对接,需要统一表结构和字段名,但是有些表有上亿条数据,如果直接修改表字段名和加字段每一条SQL都要执行大量时间,大概时间为加一个字段1.5小时/1亿条数据,这耗时实在太长了,而且有些表需要涉及6~8个字段更新,这么耗时显然是不行的。因此需要别的解决方案。

总体解决方案

第一步:先创建新表,新表包含了目前最新的表结构。

第二步:使用insert select方式从目前的表查询数据,然后insert到新表中,一切操作都在mysql内部执行,且insert完的数据就是修改完表结构的数据, 也就是说insert完一遍后表结构更改也就完成了。

第三步:将目前的表的表名改成别的,将新表改成原来的表名即可,修改表名是非常快的。

遇到的问题

1、insert select这个思路是对的,就是select太坑了,我去傻乎乎的直接去select没加limit,导致一下子查询了上亿条数据,导致服务器内存直接100%,MYSQL因为内存不够直接crash了!这下出大事了!赶紧让现场人员重启MYSQL,还好只是内存溢出导致的crash,数据本身没有受到影响。

大家千万别我犯一样的错啊!!

2、有些新增字段没有数据怎么办

问题解决方案

问题一:

使用MyBatis,先select count(0),统计出所有数据的量,然后通过for循环的方式去分页select,这样就能保证内存不溢出了。

问题二:

这个就很简单了,能够用mysql直接算出来的就用mysql直接算出来就行了,比如缺时间,那就用NOW()补充就完事了,有些新增列有默认值的就不管了,或者insert一个默认值进去,以后用到了再更新都行。

上代码

由于公司的代码必须严格保密,这里就是用最最最常用的学生表来举个栗子:

假设从表my_student(旧表)迁移数据到dct_student(新表),my_student表的结构为:

dct_student表的结构为:

 my_student表数据为:

 使用SQL:

insert into dct_student (
stu_id,
stu_name,
gender,
state,
birthday,
register_time,
father_name,
mother_name,
del,
create_time,
update_time)

select 
id,
name,
gender,
1,
birthday,
register_time,
NULL,
NULL,
del,
create_time,
NOW()
from my_student limit 0,500000;

 即可完成迁移。

注意!limit必须要加防止因为数据库内数据量过大,导致服务器内存不够,结果导致MYSQL崩溃。因此limit内的值不能过大,过大内存可能扛不住,过小则每次迁移的量实在太小,我个人测试下来50W条一次差不多。

那可能就有人要问了,如果数据量超过50W条怎么办,难道还得手动编辑分页不成?

那这就得交给Java程序了,首先先selectCount一下,算出一共多少条数据,然后按50W条进行分页,然后每页执行这个insert select即可。

大概的Mapper长这样:

@Mapper
public interface DctStudentMapper extends BaseMapper<DctStudentEntity> 
    @Select("insert into dct_student (\\n" +
            "stu_id,\\n" +
            "stu_name,\\n" +
            "gender,\\n" +
            "state,\\n" +
            "birthday,\\n" +
            "register_time,\\n" +
            "father_name,\\n" +
            "mother_name,\\n" +
            "del,\\n" +
            "create_time,\\n" +
            "update_time)\\n" +
            "\\n" +
            "select \\n" +
            "id,\\n" +
            "name,\\n" +
            "gender,\\n" +
            "1,\\n" +
            "birthday,\\n" +
            "register_time,\\n" +
            "NULL,\\n" +
            "NULL,\\n" +
            "del,\\n" +
            "create_time,\\n" +
            "NOW()\\n" +
            "from my_student limit #pageStart, #pageSize;")
    void pageInsertSelect(long pageStart,int pageSize);

统计完总数后一个for循环就搞定了,这我就不再赘述了,相信大家都会操作。

迁移完成的结果长这样:

时间统计

公司里的项目试过,1亿条数据,修改一个字段耗时大概90分钟,6个字段就要大概7小时。而这个insert select1亿条数据大概1小时多点就能完成,比修改字段快太多。

 

以上是关于原创关于表结构更改的大量数据的迁移方案的主要内容,如果未能解决你的问题,请参考以下文章

通过迁移更改表结构而不丢失数据?

MySQL 快速删除大量数据

mysql 拆分数据库 现在我的Mysql下面的一个库内有很多表,我想把老表迁移走放在另外一个库下面,如何完成

PHPMYADMIN中的laravel更改表而无需迁移

Office 365 解决方案:SharePoint数据迁移时如何阻止新平台收到大量Alert 邮件

将批量 MS 访问 MDB 文件数据迁移到 oracle 11G