更新大数据的表结构的缓和做法

Posted 微笑点燃希望

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了更新大数据的表结构的缓和做法相关的知识,希望对你有一定的参考价值。

场景

前些天遇到一个问题,要往线上数据库中数据量比较大的表格里添加新的字段,以及赋上默认值,
执行的时间比较长,如果直接在原表格的基础上直接执行sql,害怕会将表格甚至是数据库弄成死锁。
和团队兄弟聊了聊找到了一种办法,不知道的也可以借鉴一下。

解决办法

根据源表格创建一个临时表格

CREATE TABLE t_bdcards_temp LIKE t_bdcards;

给临时表格添加一个字段

ALTER TABLE t_bdcards_temp
ADD COLUMN bookId BIGINT (80) NULL
DEFAULT NULL
COMMENT ‘对应的书籍id‘ AFTER user_id;

将源表格的数据插入到临时表格中

INSERT INTO t_bdcards_temp (
card_num,
STATUS,
ctime,
user_id,
bookId
) SELECT
card_num,
STATUS,
ctime,
user_id,
100031
FROM
t_bdcards;

验证数据是否正确

SELECT
count(id)
FROM
t_bdcards_temp;

SELECT
count(id)
FROM
t_bdcards;

将源表名修改成另外一个名词

RENAME TABLE t_bdcards TO t_bdcards_blank;

将临时表格修改成源表格的名称

RENAME TABLE t_bdcards_temp TO t_bdcards;

以上是关于更新大数据的表结构的缓和做法的主要内容,如果未能解决你的问题,请参考以下文章

mysql大数据量联表查询

MYSQL分库分表和不停机更改表结构

2021年大数据Hive:Hive的表生成函数

大数据笔记(十三)——常见的NoSQL数据库之HBase数据库(A)

大数据面试常见问题——ETL部分

大数据量表结构设计案例