mysql 军规（转载）

Posted 2020-10-24

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mysql 军规（转载）相关的知识，希望对你有一定的参考价值。

导语

来自一线的实战经验
每一条军规背后都是血淋淋教训
不要华丽，只要实用
若有一条让你受益，慰矣
主要针对数据库开发人员

总是在灾难发生后，才想起容灾的重要性

总是在吃过亏后，才记得曾经有人提醒过

一，核心军规（5）

二，字段类军规（6）

三，索引类军规（5）

四，SQL类军规（15）

五，约定类军规（5）

一，核心军规

尽量不在数据库做运算

别让脚趾头想事情
那是脑瓜子的职责
让数据库多做她擅长的事情
- 尽量不在数据库做运算
- 复杂运算移到程序端CPU
- 尽可能简单应用mysql
举例：md5() / order by rand()

控制单表数据量

一年内的单表数据量预估
- 纯INT不超过1000w
- 含CHAR不超过500w
合理分表不超载
- USERID
- DATE
- AREA
- ...
建议单库不超过300-400个表

保持表身段苗条

表字段数少而精
- IO高效，全表遍历，表修复快，提高并发，alter table快
单表多少字段合适？
单表1G体积 500w行评估
- 顺序读1G文件需N秒
- 单行不超过200byte
- 单表不超过50个纯INT字段
- 单表不超过20个CHAR(10)字段
单表字段数上线控制在20-50个

平衡范式与冗余

平衡是门艺术
- 严格遵循三大范式？
- 效率优先、提升性能
- 没有绝对的对与错
- 适当时牺牲范式，加入冗余
- 但会增加代码复杂度

拒绝3B

数据库并发像城市交通
- 非线性增长
拒绝3B
- 大SQL(Big SQL)
- 大事务(Big transaction)
- 大批量(Big batch)
详细解析见后

核心军规小结

尽量不在数据库做运算
控制单表数据量
保持表身段苗条
平衡范式与冗余
拒绝3B

二，字段类军规

用好数值字段类型

三类数值类型
- TINYINT(1 byte)
- SMALLINT(2B)
- MEDIUMINT(3B)
- INT(4B), BIGINT(8B)
- FLOAT(4B), DOUBLE(8B)
- DECIMAL(M,D)

将字符转化为数字

数字型VS字符串型索引
- 更高效
- 查询更快
- 占用空间更小
举例：用无符号INT存储IP，而非CHAR(15)
- INT UNSIGNED
- INET_ATON()
- INET_NTOA()

优先使用ENUM或SET

优先使用ENUM或SET
- 字符串
- 可能值已知且有限
存储
- ENUM占用1字节，转为数值运算
- SET视节点定，最多占用8字节
- 比较时需要加‘单引号（即使是数值）
举例
- `sex` enum(‘F‘,‘M‘) COMMENT ‘性别‘
- `c1` enum(‘0‘,‘1‘,‘2‘,‘3‘) COMMENT ‘职介审核‘

避免使用NULL字段

避免使用NULL字段
- 很难进行查询优化
- NULL列加索引，需要额外空间
- 含NULL符合索引无效
举例
- `a` char(32) DEFAULT NULL
- `b` int(10) NOT NULL
- `c` int(10) NOT NULL DEFAULT 0

少用并拆分TEXT/BLOB

TEXT类型处理性能远低于VARCHAR
- 强制生成硬盘临时表
- 浪费更多空间
- VARCHAR(65535)==>64k(注意UTF-8)
尽量不用TEXT/BLOB数据类型
若必须使用则拆分到单独的表
举例：CREATE TABLE t1( id INT NOT NULL AUTO_INCREMENT, data text NOT NULL, PRIMARY KEY(id))ENGINE=innodb;

不在数据库里存图片

字段类军规小结

用好数值字段类型
将字符转化为数字
优先使用枚举ENUM/SET
避免使用NULL字段
少用并拆分TEXT/BLOB
不在数据库里存图片

三，索引类军规

谨慎合理添加索引

谨慎合理添加索引
- 改善查询
- 减慢更新
- 索引不是越多越好
能不加的索引尽量不加
- 综合评估数据密度和数据分布
- 最好不超过字段数20%
结合核心SQL优先考虑覆盖索引
举例
- 不要给"性别"列创建索引

字符字段必须建前缀索引

区分度
- 单字母区分度：26
- 4字母区分度：26*26*26*26=456,,976
- 5字母区分度：26^5=11,881,376
- 6字母区分度：26^6=308,915,776
字符字段必须建前缀索引
- `pinyin` varchar(100) default null comment ‘小区拼音‘, key `idx_pinyin`(`pinyin`(8))) engine=innodb
不在索引列进行数学运算或函数运算
- 无法使用索引
- 导致全表扫描
举例
- BAD:select * from table where to_days(current_date)-to_days(date_col)<=10
- GOOD:select * from table where date_col>=date_sub(‘2011-10-22‘,interval 10 day)

自增列或全局ID做INNODB主键

对主键建立聚簇索引
而建索引存储主键值
主键不应更新修改
案子增顺序插入值
忌用字符串做主键
聚簇索引分裂
推荐用独立于业务的AUTO_INCREMENT列或全局ID生成器做代理主键
若不指定主键，InnoDB会用唯一且非空值索引代替

尽量不用外键

线上OLTP系统（线下系统另论）
- 外键可节省开发量
- 有额外开销
- 逐行操作
- 可’到达‘其他表，意味着锁
- 高并发时容易死锁
由程序保证约束

索引类军规小结

谨慎合理添加索引
字符字段必须建前缀索引
不在索引列做运算
自增列或全局ID做INNODB主键
尽量不用外键

四，SQL类军规

SQL语句尽可能简单

大SQL VS多个简单SQL
- 传统设计思想
- BUT MySQL NOT
- 一条SQL之恩能够在一个CPU运算
- 5000+QPS的高并发中，1秒大SQL意味着？
- 可能一条大SL就把整个数据库堵死
拒绝大SQL，拆解成多条简单SQL
- 简单SQL缓存命中率更高
- 减少锁表时间，特别是MyISAM
- 用上多CPU

保持事务（连接）短小

保持事务/DB连接短小精悍
- 事务/连接使用原则：即开即用，用完即关
- 与事务无关操作放到事务外面，减少锁资源的占用
- 不破坏一致性前提下，使用多个短事务代替长事务
举例
- 发帖时的图片上传等待
- 大量的sleep连接

尽可能避免使用SP/TRIG/FUNC

线上OLTP系统（线下库另论）
- 尽可能少用存储过程
- 尽可能少用触发器
- 减用使用MySQL函数对结果进行处理
由客户端程序负责

尽量不使用SELECT *

用select *时
- 更多消耗CPU、内存、IO、网络带宽
- 先向数据库请求所有列，然后丢掉不需要列？
尽量不使用select*，只取需要数据列
- 更安全的设计：减少表变化带来的影响
- 为使用covering index提供可能性
- select/join减少硬盘临时表生成，特别是有TEXT/BLOB时
举例
- select * from tag where id=999184
- select keyword from tag where id=999184

改写OR为IN()

同一字段，将or改为in()
- or效率：O(n)
- in效率：O(log n)
- 当N很大时，or会慢很多
注意控制IN的个数，建议n小于200
举例
- select * from opp where phone =‘123456‘ or hple =‘1235516‘
- select * from opp where phone in(‘123456‘ ,‘1235516‘)

改写or为union

不同字段，将or改为union
- 减少对不同字段进行"or"查询
- merge index往往很弱智
- 如果有足够信心：set global optimizer_switch=‘index_merge=off‘
举例
- select * frmo opp where phone=‘010-88886666‘ or cellphone=‘13800138000‘
- select * from opp where phone=‘010-88886666‘ union select * from opp where cellphone=‘13800138000‘

避免负向查询和%前缀模糊查询

避免负向查询
- not, !=, <>, !<, !>, not exists, not in, not like等
米面%前缀模糊查询
- B+ tree
- 使用不了索引
- 导致全表扫描
举例
- MySQL> select * from post where title like ‘北京%‘;
- 298 rows in set(0.01sec)
- MySQL> select * from post where title like ‘%北京%‘;
- 572 rows in set(3.27sec)

count(*)的几个例子

几个有趣的例子：
- count(col) VS count(*)
- count(*) VS count(1)
- count(1) VS count(0) VS count(100)
结论
- count(*) = count(1)
- count(0) = count(1)
- count(1) = count(100)
- count(*) != count(col)
- WHY？

减少count(*)

MyISAM VS InnoDB
- 不带where count()
- 带where count()
count(*)的资源开销大，尽量不用少用
计数统计
- 实时统计：用memcache，双向更新，凌晨跑基准
- 非实时统计：尽量用单独统计表，定期重算

LIMIT高效分页

传统分页
- select * from table limit 10000,10;
LIMIT原理：
- limit 10000,10
- 偏移量越大则越慢
推荐分页：
- select * from table where id>=23423 limit 11; #10+1(每页10条)
- select * from table where id>=23434 limit 11;

LIMIT的高效分页

分页方式二：
- select * from table where id >=(select id from table limit 10000,1)limit 10;
分页方式三：
- select * from table inner join (select id from table limit 10000,1) using(id);
分页方式四：
- 程序取ID：select id from table limit 10000,10;
- select * from table where id in(123,456,...)
可能需按场景分析并重组索引

LIMIT的高效分页

示例
- MySQL> select sql_no_cache * from post limit 10,10;
- 10 row in set(0.01sec)
- MySQL> select sql_no_cache * from post limit 20000,10;
- 10 row in set(0.13sec)
- MySQL> select sql_no_cache * from post limit 80000,10;
- 10 rows in set(0.58sec)
- MySQL> select sql_no_cache id from post limit 80000,10;
- 10 rows in set(0.02sec)
- MySQL> select sql_no_cache * from post where id>=323423 limit 10;
- 10 rows in set(0.01sec)
- MySQL> select * from post where id >=(select sql_no_cache id from post limit 80000,1) limit 10;
- 10 rows in set(0.02sec)

用UNION ALL而非UNION

若无需对结果进行去重，则用UNION ALL
- UNION有去重开销
举例
- MySQL> select * from detail20091128 UNION ALL
- select * from detail20110427 union all
- select * from detail20110426 union all
- select * from detail20110425 union all
- select * from detail20110424 union all
- select * from detail20110423;

分解连接保证高并发

高并发DB不建议进行两个表以上的JOIN
适当分解连接保证高并发
- 可换成大量早期数据
- 使用了多个MyISAM表
- 对大表的小ID IN()
- 连接引用同一个表多次
举例
- - MySQL> select * from tag join tag_post n tag_post.tag_id=tag.id join post on tag_post.post_id=post.id where tag.tag=‘二手玩具‘
  - ->
  - MySQL> select * from tab where tag=‘二手玩具‘;
  - MySQL> select * from tag_post where tag_id=1321;
  - MySQL> select * from post where post.id in(123,456,314,141);

GROUP BY 去除排序

GROUP BY实现
- 分组
- 自动排序
无需排序：order by null
特定排序：group by desc/asc
举例
MySQL> select phone, count(*) from post group by phone limit 1;
1 row in set(2.19sec)
MySQL> select phone,count(*) from post group by phone order by null limit 1;
1 row in set(2.02sec)

同数据类型的列植比较

原则：数字对数字，字符对字符
数值列于字符类型比较
- 同时转换为双精度
- 进行比对
字符列与数值类型比较
- 字符列整列转数值
- 不会使用索引查询

同数据类型的列植比较

举例：字符列与数值类型比较
- 字段: `remark` varchar(50) not null comment ‘备注，默认为空‘;
- MySQL> select `id`,`gift_code` from gift where `deal_id` = 640 and remark=115127;
- 1 row in set(0.14sec)
- MySQL> select `id`,`gift_code` from pool_gift where `deal_id`=640 and remark=‘115127‘;
- 1 row in set(0.005sec)

Load data 导数据

批量数据快导入：
- 成批装载比单行装载更快，不需要每次刷新缓存
- 无索引时装载比索引装载更快
- insert values, values, values减少索引刷新
- load data比insert快约20倍
尽量不用insert...select
- 延迟
- 同步出错

打散大批量更新

大批量更新凌晨操作，避开高峰
凌晨不限制
白天上线默认为100条/秒（特殊再议）
举例：
- update post set tag=1 where id in (1,2,3);
- sleep 0.01;
- update post set tag=1 where id in (4,5,6);
- sleep 0.01;
- ...

know every SQL

show profile
MySQLsla
MySQLdumpslow
explain
show slow log
show processlist
show query_response_time(percona)

SQL类军规小结

SQL语句尽可能简单
保持事务（连接）短小
尽可能避免使用SP/TRIG/FUNC
尽量不用select *
改写or语句
避免负向查询和%前缀模糊查询
减少count(*)
limit的高效分页
用union all 而非union
分解连接保证高并发
group by去除排序
统数据类型的列植比较
load data导数据
打散大批量更新
know every SQL

五，约定类军规

隔离线上线下

构建数据库的生态环境
- 开发无线上库操作权限
原则：线上连线上，线下连线下
- 实时数据用real库
- 模拟环境用sim库
- 测试用qa库
- 开发用dev库
案例

禁止未经DBA确认的子查询

MySQL子查询
- 大部分情况优化较差
- 特别where汇总使用in id的子查询
- 一般可用join改写
举例：
MySQL> select * from table 1 where id in(select id from table2);MySQL> insert into table1 (select * from table2); //可能导致复制异常

永远不在程序端显式加锁