请教MYSQL insert语句的长度限制 MYSQL语句最长可以多长

Posted 2023-05-03

mysql所有语句的长度限制（包含insert语句），受系统选项max_allowed_packet控制，可以用如下指令查询，默认值1M或16M:
show VARIABLES WHERE Variable_name LIKE 'max_allowed_packet';
也可以在my.ini配置文件里修改：
[mysqld]
max_allowed_packet = 8M 参考技术A 只要插入值长度不超过字段限制，你的insert语句想写多长就写多长。
只是一次插入很多效率很低，如果是正常业务，这个表加了锁，其他与这个表的操作就会一直等待，影响业务正常运行，所以通常多了会分成多次插入。本回答被提问者采纳 参考技术B

背景

有人问mysqldump出来的insert语句，是否可以按每 10 row 一条insert语句的形式组织。

思考1：参数--extended-insert回忆过去所学：

我只知道有一对参数

--extended-insert(默认值)

表示使用长 INSERT ，多 row 在合并一起批量 INSERT，提高导入效率

--skip-extended-insert一行一个的短INSERT

均不满足群友需求，无法控制按每 10 row 一条 insert 语句的形式组织。

思考2：“避免大事务”之前一直没有考虑过这个问题。这个问题的提出，相信主要是为了“避免大事务”。所以满足 insert 均为小事务即可。下面，我们来探讨一下以下问题：1. 什么是大事务？

2. 那么 mysqldump 出来的 insert 语句可能是大事务吗？

什么是大事务？

定义：运行时间比较长，操作的数据比较多的事务我们称之为大事务。

大事务风险：

∘ 锁定太多的数据，造成大量的阻塞和锁超时，回滚所需要的时间比较长。

∘ 执行时间长，容易造成主从延迟。

∘ undo log膨胀

避免大事务：我这里按公司实际场景，规定了，每次操作/获取数据量应该少于5000条，结果集应该小于2M

mysqldump出来的SQL文件有大事务吗？

前提，MySQL 默认是自提交的，所以如果没有明确地开启事务，一条 SQL 语句就是一条事务。在 mysqldump 里，就是一条 SQL 语句为一条事务。

按照我的“避免大事务”自定义规定，答案是没有的。原来，mysqldump 会按照参数--net-buffer-length，来自动切分 SQL 语句。默认值是 1M。按照我们前面定义的标准，没有达到我们的 2M 的大事务标准。--net-buffer-length 最大可设置为 16777216，人手设置大于这个值，会自动调整为 16777216，即 16M。设置 16M，可以提升导出导入性能。如果为了避免大事务，那就不建议调整这个参数，使用默认值即可。[root@192-168-199-198 ~]# mysqldump --net-buffer-length=104652800 -uroot -proot -P3306 -h192.168.199.198 test t >16M.sqlmysqldump: [Warning] option 'net_buffer_length': unsigned value 104652800 adjusted to 16777216#设置大于16M，参数被自动调整为16M




注意，指的是 mysqldump 的参数，而不是 mysqld 的参数。官方文档提到: If you increase this variable, ensure that the MySQL server net_buffer_length system variable has a value at least this large.

意思是 mysqldump 增大这个值，mysqld 也得增大这个值，测试结论是不需要的。怀疑官方文档有误。

不过，在导入的时候，受到服务器参数 max_allowed_packet 影响，它控制了服务器能接受的数据包的最大大小，默认值是 4194304，即 4M。所以导入数据库时需要调整参数 max_allowed_packet 的值。set global max_allowed_packet=16*1024*1024*1024;




不调整的话，会出现以下报错：[root@192-168-199-198 ~]# mysql -uroot -proot -P3306 -h192.168.199.198 test <16M.sqlmysql: [Warning] Using a password on the command line interface can be insecure.ERROR 2006 (HY000) at line 46: MySQL server has gone away




相关测试最后，我放出我的相关测试步骤mysql> select version();+------------+| version()  |+------------+| 5.7.26-log |+------------+1 row in set (0.00 sec)




造100万行数据

create database test;

use test;

CREATE TABLE `t` (

`a` int(11) DEFAULT NULL,

`b` int(11) DEFAULT NULL,

`c` varchar(255) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

insert into t values (1,1,'abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyztuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz');

insert into t select * from t; #重复执行20次

# 直到出现Records: 524288  Duplicates: 0  Warnings: 0

# 说明数据量达到100多万条了。

mysql> select count(*) from t;

+----------+

| count(*) |

+----------+

|  1048576 |

+----------+

1 row in set (1.04 sec)

数据大小如下，有 284MB[root@192-168-199-198 test]# pwd/data/mysql/mysql3306/data/test[root@192-168-199-198 test]# du -sh t.ibd284M    t.ibd




--net-buffer-length=1M[root@192-168-199-198 ~]# mysqldump -uroot -proot -S /tmp/mysql3306.sock test t >1M.sql[root@192-168-199-198 ~]# du -sh 1M.sql225M    1M.sql[root@192-168-199-198 ~]# cat 1M.sql |grep -i insert |wc -l226




默认 --net-buffer-length=1M 的情况下，225M 的SQL文件里有 226 条 insert ，平均下来确实就是每条 insert 的 SQL 大小为 1M。

--net-buffer-length=16M

[root@192-168-199-198 ~]# mysqldump --net-buffer-length=16M -uroot -proot -S /tmp/mysql3306.sock test t >16M.sql[root@192-168-199-198 ~]# du -sh 16M.sql225M    16M.sql[root@192-168-199-198 ~]# cat 16M.sql |grep -i insert |wc -l15




默认--net-buffer-length=16M 的情况下，225M 的 SQL 文件里有 15 条 insert，平均下来确实就是每条 insert 的 SQL 大小为 16M。所以，这里证明了 --net-buffer-length 确实可用于拆分 mysqldump 备份文件的SQL大小的。

性能测试insert 次数越多，交互次数就越多，性能越低。 但鉴于上面例子的 insert 数量差距不大，只有 16 倍，性能差距不会很大(实际测试也是如此)。我们直接对比 --net-buffer-length=16K 和 --net-buffer-length=16M 的情况，他们insert次数相差了 1024 倍。

[root@192-168-199-198 ~]# time mysql -uroot -proot -S /tmp/mysql3306.sock test <16K.sql

mysql: [Warning] Using a password on the command line interface can be insecure.

real    0m10.911s  #11秒

user    0m1.273s

sys    0m0.677s

[root@192-168-199-198 ~]# mysql -uroot -proot -S /tmp/mysql3306.sock -e "reset master";

mysql: [Warning] Using a password on the command line interface can be insecure.

[root@192-168-199-198 ~]# time mysql -uroot -proot -S /tmp/mysql3306.sock test <16M.sql

mysql: [Warning] Using a password on the command line interface can be insecure.

real    0m8.083s  #8秒

user    0m1.669s

sys    0m0.066s

结果明显。--net-buffer-length 设置越大，客户端与数据库交互次数越少，导入越快。




结论mysqldump 默认设置下导出的备份文件，符合导入需求，不会造成大事务。性能方面也符合要求，不需要调整参数。



请点击输入图片描述

请点击输入图片描述

数据库备份和恢复

mysqldump命令备份：将数据库中的数据备份成一个文本文件，表结构和表中的数据将存储在生成的文本中。

->工作原理：先查出需要备份的表结构，再在文本文件中生成一个create语句，然后将所有记录转换为一条insert语句。create语句和insert语句都是为了以后恢复时使用。

->备份和恢复都在linux的root权限下进行，注意不是mysql下。

 

->语法： mysqldump -h主机名  -P端口 -u用户名 -p密码 (–database) 数据库名 > 文件名.sql

   例子： mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql

->还原MySQL数据库的命令
              mysql -hhostname -uusername -ppassword databasename < backupfile.sql     注意数据库名必须要存在，因为备份只备份表结构create和表数据insert

->备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。
   mysqldump --add-drop-table -uusername -ppassword databasename > backupfile.sql

->直接将MySQL数据库压缩备份
   mysqldump -hhostname -uusername -ppassword databasename | gzip > backupfile.sql.gz

->还原压缩的MySQL数据库
    gunzip < backupfile.sql.gz | mysql -uusername -ppassword databasename

->备份MySQL数据库某个(些)表
   mysqldump -hhostname -uusername -ppassword databasename specific_table1 specific_table2 > backupfile.sql

->同时备份多个MySQL数据库
   mysqldump -hhostname -uusername -ppassword --databases databasename1 databasename2 databasename3 > multibackupfile.sql

   --databases, -B： 用于备份多个数据库，如果没有该选项，mysqldump把第一个名字参数作为数据库名，后面的作为表名。使用该选项，

->仅仅备份数据库结构
   mysqldump --no-data --databases databasename1 databasename2 databasename3 > structurebackupfile.sql

->备份服务器上所有数据库? 
   mysqldump -uroot  -p123lqh -A  > allbackupfile.sql            mysqldump -uroot  -p123lqh -A  -d> allbackupfile.sql  备份所有数据库但只备份表结构    

 

->将数据库转移到新服务器

 

   mysqldump -uusername -ppassword databasename | mysql –host=*.*.*.* -C databasename