原创关于表结构更改的大量数据的迁移方案
Posted DCTANT
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了原创关于表结构更改的大量数据的迁移方案相关的知识,希望对你有一定的参考价值。
前言
由于公司要求做产品之间的对接,需要统一表结构和字段名,但是有些表有上亿条数据,如果直接修改表字段名和加字段每一条SQL都要执行大量时间,大概时间为加一个字段1.5小时/1亿条数据,这耗时实在太长了,而且有些表需要涉及6~8个字段更新,这么耗时显然是不行的。因此需要别的解决方案。
总体解决方案
第一步:先创建新表,新表包含了目前最新的表结构。
第二步:使用insert select方式从目前的表查询数据,然后insert到新表中,一切操作都在mysql内部执行,且insert完的数据就是修改完表结构的数据, 也就是说insert完一遍后表结构更改也就完成了。
第三步:将目前的表的表名改成别的,将新表改成原来的表名即可,修改表名是非常快的。
遇到的问题
1、insert select这个思路是对的,就是select太坑了,我去傻乎乎的直接去select没加limit,导致一下子查询了上亿条数据,导致服务器内存直接100%,MYSQL因为内存不够直接crash了!这下出大事了!赶紧让现场人员重启MYSQL,还好只是内存溢出导致的crash,数据本身没有受到影响。
大家千万别我犯一样的错啊!!
2、有些新增字段没有数据怎么办
问题解决方案
问题一:
使用MyBatis,先select count(0),统计出所有数据的量,然后通过for循环的方式去分页select,这样就能保证内存不溢出了。
问题二:
这个就很简单了,能够用mysql直接算出来的就用mysql直接算出来就行了,比如缺时间,那就用NOW()补充就完事了,有些新增列有默认值的就不管了,或者insert一个默认值进去,以后用到了再更新都行。
上代码
由于公司的代码必须严格保密,这里就是用最最最常用的学生表来举个栗子:
假设从表my_student(旧表)迁移数据到dct_student(新表),my_student表的结构为:
dct_student表的结构为:
my_student表数据为:
使用SQL:
insert into dct_student (
stu_id,
stu_name,
gender,
state,
birthday,
register_time,
father_name,
mother_name,
del,
create_time,
update_time)
select
id,
name,
gender,
1,
birthday,
register_time,
NULL,
NULL,
del,
create_time,
NOW()
from my_student limit 0,500000;
即可完成迁移。
注意!limit必须要加防止因为数据库内数据量过大,导致服务器内存不够,结果导致MYSQL崩溃。因此limit内的值不能过大,过大内存可能扛不住,过小则每次迁移的量实在太小,我个人测试下来50W条一次差不多。
那可能就有人要问了,如果数据量超过50W条怎么办,难道还得手动编辑分页不成?
那这就得交给Java程序了,首先先selectCount一下,算出一共多少条数据,然后按50W条进行分页,然后每页执行这个insert select即可。
大概的Mapper长这样:
@Mapper
public interface DctStudentMapper extends BaseMapper<DctStudentEntity>
@Select("insert into dct_student (\\n" +
"stu_id,\\n" +
"stu_name,\\n" +
"gender,\\n" +
"state,\\n" +
"birthday,\\n" +
"register_time,\\n" +
"father_name,\\n" +
"mother_name,\\n" +
"del,\\n" +
"create_time,\\n" +
"update_time)\\n" +
"\\n" +
"select \\n" +
"id,\\n" +
"name,\\n" +
"gender,\\n" +
"1,\\n" +
"birthday,\\n" +
"register_time,\\n" +
"NULL,\\n" +
"NULL,\\n" +
"del,\\n" +
"create_time,\\n" +
"NOW()\\n" +
"from my_student limit #pageStart, #pageSize;")
void pageInsertSelect(long pageStart,int pageSize);
统计完总数后一个for循环就搞定了,这我就不再赘述了,相信大家都会操作。
迁移完成的结果长这样:
时间统计
公司里的项目试过,1亿条数据,修改一个字段耗时大概90分钟,6个字段就要大概7小时。而这个insert select1亿条数据大概1小时多点就能完成,比修改字段快太多。
以上是关于原创关于表结构更改的大量数据的迁移方案的主要内容,如果未能解决你的问题,请参考以下文章
mysql 拆分数据库 现在我的Mysql下面的一个库内有很多表,我想把老表迁移走放在另外一个库下面,如何完成