多表查询与索引
Posted panda-pandeyong
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了多表查询与索引相关的知识，希望对你有一定的参考价值。
多表查询连接
准备俩张员工信息表,我们要查询员工信息及员工所在部门.那么就需要俩张表进
行连接查询,多表查询.
外链接 语法
select 字段列表
from 表1 inner/left/right join 表2 on 表1.字段 = 表2.字段;
第一种情况交叉连接: 不适用任何匹配条件.生成笛卡尔积.
mysql> select * from employee,department; +----+----------+--------+------+--------+------+--------------+ | id | name | sex | age | dep_id | id | name | +----+----------+--------+------+--------+------+--------------+ | 1 | egon | male | 18 | 200 | 200 | 技术 | | 1 | egon | male | 18 | 200 | 201 | 人力资源 | | 1 | egon | male | 18 | 200 | 202 | 销售 | | 1 | egon | male | 18 | 200 | 203 | 运营 | | 2 | alex | female | 48 | 201 | 200 | 技术 | | 2 | alex | female | 48 | 201 | 201 | 人力资源 | | 2 | alex | female | 48 | 201 | 202 | 销售 | | 2 | alex | female | 48 | 201 | 203 | 运营 | | 3 | wupeiqi | male | 38 | 201 | 200 | 技术 | | 3 | wupeiqi | male | 38 | 201 | 201 | 人力资源 | | 3 | wupeiqi | male | 38 | 201 | 202 | 销售 | | 3 | wupeiqi | male | 38 | 201 | 203 | 运营 | | 4 | yuanhao | female | 28 | 202 | 200 | 技术 | | 4 | yuanhao | female | 28 | 202 | 201 | 人力资源 | | 4 | yuanhao | female | 28 | 202 | 202 | 销售 | | 4 | yuanhao | female | 28 | 202 | 203 | 运营 | | 5 | nvshen | male | 18 | 200 | 200 | 技术 | | 5 | nvshen | male | 18 | 200 | 201 | 人力资源 | | 5 | nvshen | male | 18 | 200 | 202 | 销售 | | 5 | nvshen | male | 18 | 200 | 203 | 运营 | | 6 | xiaomage | female | 18 | 204 | 200 | 技术 | | 6 | xiaomage | female | 18 | 204 | 201 | 人力资源 | | 6 | xiaomage | female | 18 | 204 | 202 | 销售 | | 6 | xiaomage | female | 18 | 204 | 203 | 运营 |
内连接 : 只连接匹配的行
#找两张表共有的部分，相当于利用条件从笛卡尔积结果中筛选出了匹配的结果 #department没有204这个部门，因而employee表中关于204这条员工信息没有匹配出来 mysql> select employee.id,employee.name,employee.age,employee.sex,department.name from employee inner join department
on employee.dep_id=department.id; +----+---------+------+--------+--------------+ | id | name | age | sex | name | +----+---------+------+--------+--------------+ | 1 | egon | 18 | male | 技术 | | 2 | alex | 48 | female | 人力资源 | | 3 | wupeiqi | 38 | male | 人力资源 | | 4 | yuanhao | 28 | female | 销售 | | 5 | nvshen | 18 | male | 技术 | +----+---------+------+--------+--------------+ rows in set (0.00 sec) #上述sql等同于 mysql> select employee.id,employee.name,employee.age,employee.sex,department.name from employee,department where employee.dep_id=department.id;
外链接之右连接: 优先显示右表全记录
#以右表为准，即找出所有部门信息，包括没有员工的部门 #本质就是：在内连接的基础上增加右边有，左边没有的结果 mysql> select employee.id,employee.name,department.name as depart_name from employee right join department on employee.dep_id=department.id; +------+---------+--------------+ | id | name | depart_name | +------+---------+--------------+ | 1 | egon | 技术 | | 2 | alex | 人力资源 | | 3 | wupeiqi | 人力资源 | | 4 | yuanhao | 销售 | | 5 | nvshen | 技术 | | NULL | NULL | 运营 | +------+---------+--------------+ rows in set (0.00 sec)
外链接之左连接: 优先显示左表全记录
#以左表为准，即找出所有员工信息，当然包括没有部门的员工 #本质就是：在内连接的基础上增加左边有，右边没有的结果 mysql> select employee.id,employee.name,department.name as depart_name from employee left join department on employee.dep_id=department.id; +----+----------+--------------+ | id | name | depart_name | +----+----------+--------------+ | 1 | egon | 技术 | | 5 | nvshen | 技术 | | 2 | alex | 人力资源 | | 3 | wupeiqi | 人力资源 | | 4 | yuanhao | 销售 | | 6 | xiaomage | NULL | +----+----------+--------------+ rows in set (0.00 sec)
全外连接:显示左右俩个表全部记录
#外连接：在内连接的基础上增加左边有右边没有的和右边有左边没有的结果 #注意：mysql不支持全外连接 full JOIN #强调：mysql可以使用此种方式间接实现全外连接 语法：select * from employee left join department on employee.dep_id = department.id union all select * from employee right join department on employee.dep_id = department.id; mysql> select * from employee left join department on employee.dep_id = department.id union select * from employee right join department on employee.dep_id = department.id ; +------+----------+--------+------+--------+------+--------------+ | id | name | sex | age | dep_id | id | name | +------+----------+--------+------+--------+------+--------------+ | 1 | egon | male | 18 | 200 | 200 | 技术 | | 5 | nvshen | male | 18 | 200 | 200 | 技术 | | 2 | alex | female | 48 | 201 | 201 | 人力资源 | | 3 | wupeiqi | male | 38 | 201 | 201 | 人力资源 | | 4 | yuanhao | female | 28 | 202 | 202 | 销售 | | 6 | xiaomage | female | 18 | 204 | NULL | NULL | | NULL | NULL | NULL | NULL | NULL | 203 | 运营 | +------+----------+--------+------+--------+------+--------------+ rows in set (0.01 sec) #注意 union与union all的区别：union会去掉相同的纪录
符合条件连接查询
以内连接的方式查询employee和department表，并且employee表中的age
字段值必须大于25，即找出年龄大于25岁的员工以及员工所在的部门.
select employee.name,department.name from employee inner join department on employee.dep_id = department.id where age > 25;
以内连接的方式查询employee和department表,并且以age字段的升序方式显示.
select employee.id,employee.name,employee.age,department.name from employee,department where employee.dep_id = department.id and age > 25 order by age asc;
子查询
子查询是将一个查询语句嵌套在另一个查询语句中.
内层查询语句的查询结果,可以为外层查询语句提供查询条件.
子查询中可以包含:in, not in , any , all , exists 和 not exist等关键字
还可以包含比较运算符: = , != , > ,< 等
例 带in 关键字的查询
#查询平均年龄在25岁以上的部门名 select id,name from department where id in (select dep_id from employee group by dep_id having avg(age) > 25); # 查看技术部员工姓名 select name from employee where dep_id in (select id from department where name=‘技术‘); #查看不足1人的部门名 select name from department where id not in (select dep_id from employee group by dep_id);
带比较运算的子查询
#比较运算符：=、!=、>、>=、<、<=、<> #查询大于所有人平均年龄的员工名与年龄 mysql> select name,age from employee where age > (select avg(age) from employee); +---------+------+ | name | age | +---------+------+ | alex | 48 | | wupeiqi | 38 | +---------+------+ #查询大于部门内平均年龄的员工名、年龄 思路： （1）先对员工表(employee)中的人员分组(group by)，查询出dep_id以及平均年龄。 (2)将查出的结果作为临时表,再对根据临时表的dep_id和employee的dep_id作为筛选条件将employee表和临时表进行内连接。 (3)最后再将employee员工的年龄是大于平均年龄的员工名字和年龄筛选。 mysql> select t1.name,t1.age from employee as t1 inner join (select dep_id,avg(age) as avg_age from employee group by dep_id) as t2 on t1.dep_id = t2.dep_id where t1.age > t2.avg_age; +------+------+ | name | age | +------+------+ | alex | 48 |
带exists关键字的子查询
#EXISTS关字键字表示存在。在使用EXISTS关键字时，内层查询语句不返回查询的记录。而是返回一个真假值。True或False #当返回True时，外层查询语句将进行查询；当返回值为False时，外层查询语句不进行查询 #department表中存在dept_id=203，Ture mysql> select * from employee where exists (select id from department where id=200); +----+----------+--------+------+--------+ | id | name | sex | age | dep_id | +----+----------+--------+------+--------+ | 1 | egon | male | 18 | 200 | | 2 | alex | female | 48 | 201 | | 3 | wupeiqi | male | 38 | 201 | | 4 | yuanhao | female | 28 | 202 | | 5 | nvshen | male | 18 | 200 | | 6 | xiaomage | female | 18 | 204 | +----+----------+--------+------+--------+ #department表中存在dept_id=205，False mysql> select * from employee where exists (select id from department where id=204); Empty set (0.00 sec)
索引
索引介绍: 数据库中专门用于帮助用户快速查找数据的一种数据结构.类似
于字典中的目录,查找字典内容时可以根据目录查到数据的存放位置,然后
直接获取.
索引作用 约束和加速查找
常见的索引:
普通索引; 唯一索引; 主键索引;
联合索引(多列) : 联合主键索引 联合唯一索引 联合普通索引
有无索引的区别以及建立索引的目的
无索引: 从前往后逐条查询
有索引: 创建索引的本质,就是创建额外的文件(某种格式存储,查询的时
候,先去额外的文件找,定好位置,再去原始表中直接查询.)数据过多,对硬
盘也有损耗.
建立索引目的 :
额外的文件保存特殊的数据结构
查询快, 但是插入更新删除依然慢
创建索引后,必须命中索引才能有效
hash索引和BTree索引 （1）hash类型的索引：查询单条快，范围查询慢 （2）btree类型的索引：b+树，层数越多，数据量指数级增长（我们就用它，因为innodb默认支持它）
普通索引 作用:仅有一个加速查找
创建表+普通索引
create table userinfo( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, index ix_name(name)
#index创建索引目录 ix_name表示创建的索引名字 (name)表示为哪个字段创建索引 );
普通索引
create index 索引的名字 on 表名(列名)
单独为某一表的某一字段创建普通索引
删除索引
drop index 索引的名字 on 表名
查看索引
show index from 表名
唯一索引
功能 : 加速查找 唯一约束(可含null)
create table userinfo( id int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, unique index ix_name(name) );
唯一索引: create unique index 索引名 on 表名(列名)
删除唯一索引 : drop index 索引名 on 表名;
主键索引
(主键查找类似于 not null + unique 不为空且唯一)
功能:加速查找 唯一约束(不含null)
创建表+主键索引
create table userinfo( id int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, unique index ix_name(name) ) or create table userinfo( id int not null auto_increment, name varchar(32) not null, email varchar(64) not null, primary key(nid), unique index ix_name(name) )
主键索引 alter table 表名 add primary key(列名);
删除主键索引
alter table 表名 drop primary key;
alter table 表名 modify 列名 int, drop primary key;
组合索引
组合索引是将n个列组合成一个索引,进行查询,并不是采用n个列的各个
单列索引,进行查找,而是统一采用最左前缀规则查找.查找时采用最左面的
索引与后面的索引俩俩结合查找,最左面的索引不同,组合索引的效率也会不同.
其应用场景为: 频繁的同时使用n列来进行查询,如 :
where name=‘alex‘ and email=‘[email protected]‘.
create index 索引名 on 表名(列名1,列名2);
组合索引总和保存了col1和col2的数据,他不需要在2个索引表之间跳转,所以速度会更快,组合索引
的搜索步骤如下
索引名词(非正规SQL名称)
#覆盖索引：在索引文件中直接获取数据 例如： select name from userinfo where name = ‘alex50000‘; #索引合并：把多个单列索引合并成使用 例如： select * from userinfo where name = ‘alex13131‘ and id = 13131;
如下图索引合并,需要反复在俩个索引表间进行跳转,造成速度慢的原因之一,假设col1=‘ABC‘的数
据有5行,满足col2=123的数据有1000行,最坏的情况(那5行在col2的1000行最后面) 需要扫描完col2的
1000行才能找到需要的数据,并不能达到快速查找的目的.
正确使用索引的情况
数据库表中添加索引后确实会让查询速度飞起,但是前提必须是正确的使
用索引来查询,如果以错误的方式使用,则即使建立索引也会不奏效.
使用索引,必须:
创建索引-->命中索引-->正确使用索引
测试:
#1. 准备表 create table userinfo( id int, name varchar(20), gender char(6), email varchar(50) ); #2. 创建存储过程，实现批量插入记录 delimiter $$ #声明存储过程的结束符号为$$ create procedure auto_insert1() BEGIN declare i int default 1; while(i<3000000)do insert into userinfo values(i,concat(‘alex‘,i),‘male‘,concat(‘egon‘,i,‘@oldboy‘)); set i=i+1; end while; END$$ #$$结束 delimiter ; #重新声明分号为结束符号 #3. 查看存储过程 show create procedure auto_insert1G #4. 调用存储过程 call auto_insert1(); - like ‘%xx‘ select * from userinfo where name like ‘%al‘; - 使用函数 select * from userinfo where reverse(name) = ‘alex333‘; - or select * from userinfo where id = 1 or email = ‘[email protected]‘; 特别的：当or条件中有未建立索引的列才失效，以下会走索引 select * from userinfo where id = 1 or name = ‘alex1222‘; select * from userinfo where id = 1 or email = ‘[email protected]‘ and name = ‘alex112‘ - 类型不一致 如果列是字符串类型，传入条件是必须用引号引起来，不然... select * from userinfo where name = 999; - != select count(*) from userinfo where name != ‘alex‘ 特别的：如果是主键，则还是会走索引 select count(*) from userinfo where id != 123 - > select * from userinfo where name > ‘alex‘ 特别的：如果是主键或索引是整数类型，则还是会走索引 select * from userinfo where id > 123 select * from userinfo where num > 123 - order by select email from userinfo order by name desc; 当根据索引排序时候，选择的映射如果不是索引，则不走索引 特别的：如果对主键排序，则还是走索引： select * from userinfo order by nid desc; - 组合索引最左前缀 如果组合索引为：(name,email) name and email -- 使用索引 name -- 使用索引 email -- 不使用索引
最左前缀
最左前缀匹配： create index ix_name_email on userinfo(name,email); select * from userinfo where name = ‘alex‘; select * from userinfo where name = ‘alex‘ and email=‘[email protected]‘; select * from userinfo where email=‘[email protected]‘; 如果使用组合索引如上，name和email组合索引之后，查询 （1）name和email ---使用索引 （2）name ---使用索引 （3）email ---不适用索引 对于同时搜索n个条件时，组合索引的性能好于多个单列索引 ******组合索引的性能>索引合并的性能*********
索引注意事项:
(1)避免使用select * (2)count(1)或count(列) 代替count(*) (3)创建表时尽量使用char代替varchar (4)表的字段顺序固定长度的字段优先 (5)组合索引代替多个单列索引（经常使用多个条件查询时） (6)尽量使用短索引 （create index ix_title on tb(title(16));特殊的数据类型 text类型） (7)使用连接（join）来代替子查询 (8)连表时注意条件类型需一致 (9)索引散列（重复少）不适用于建索引，例如：性别不合适
执行计划
explain+查询sql 用于显示sql执行信息参数,根据参考信息可以进行sql优化
mysql> explain select * from userinfo; +----+-------------+----------+------+---------------+------+---------+------+---------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+----------+------+---------------+------+---------+------+---------+-------+ | 1 | SIMPLE | userinfo | ALL | NULL | NULL | NULL | NULL | 2973016 | NULL | +----+-------------+----------+------+---------------+------+---------+------+---------+-------+ mysql> explain select * from (select id,name from userinfo where id <20) as A; +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ | 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 19 | NULL | | 2 | DERIVED | userinfo | range | PRIMARY | PRIMARY | 4 | NULL | 19 | Using where | +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ rows in set (0.05 sec)
参数
select_type： 查询类型 SIMPLE 简单查询 PRIMARY 最外层查询 SUBQUERY 映射为子查询 DERIVED 子查询 UNION 联合 UNION RESULT 使用联合的结果 table： 正在访问的表名 type： 查询时的访问方式，性能：all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const ALL 全表扫描，对于数据表从头到尾找一遍 select * from userinfo; 特别的：如果有limit限制，则找到之后就不在继续向下扫描 select * from userinfo where email = ‘[email protected]‘ select * from userinfo where email = ‘[email protected]‘ limit 1; 虽然上述两个语句都会进行全表扫描，第二句使用了limit，则找到一个后就不再继续扫描。 INDEX ： 全索引扫描，对索引从头到尾找一遍 select nid from userinfo; RANGE： 对索引列进行范围查找 select * from userinfo where name < ‘alex‘; PS: between and in > >= < <= 操作 注意：!= 和 > 符号 INDEX_MERGE： 合并索引，使用多个单列索引搜索 select * from userinfo where name = ‘alex‘ or nid in (11,22,33); REF： 根据索引查找一个或多个值 select * from userinfo where name = ‘alex112‘; EQ_REF： 连接时使用primary key 或 unique类型 select userinfo2.id,userinfo.name from userinfo2 left join tuserinfo on userinfo2.id = userinfo.id; CONST：常量 表最多有一个匹配行,因为仅有一行,在这行的列值可被优化器剩余部分认为是常数,const表很快,因为它们只读取一次。 select id from userinfo where id = 2 ; SYSTEM：系统 表仅有一行(=系统表)。这是const联接类型的一个特例。 select * from (select id from userinfo where id = 1) as A; possible_keys：可能使用的索引 key：真实使用的 key_len： MySQL中使用索引字节长度 rows： mysql估计为了找到所需的行而要读取的行数 ------ 只是预估值 extra： 该列包含MySQL解决查询的详细信息 “Using index” 此值表示mysql将使用覆盖索引，以避免访问表。不要把覆盖索引和index访问类型弄混了。 “Using where” 这意味着mysql服务器将在存储引擎检索行后再进行过滤，许多where条件里涉及索引中的列，当（并且如果）它读取索引时，就能被存储引擎检验，因此不是所有带where子句的查询都会显示“Using where”。有时“Using where”的出现就是一个暗示：查询可受益于不同的索引。 “Using temporary” 这意味着mysql在对查询结果排序时会使用一个临时表。 “Using filesort” 这意味着mysql会对结果使用一个外部索引排序，而不是按索引次序从表里读取行。mysql有两种文件排序算法，这两种排序方式都可以在内存或者磁盘上完成，explain不会告诉你mysql将使用哪一种文件排序，也不会告诉你排序会在内存里还是磁盘上完成。 “Range checked for each record(index map: N)” 这个意味着没有好用的索引，新的索引将在联接的每一行上重新估算，N是显示在possible_keys列中索引的位图，并且是冗余的
慢日志记录
开启慢查询日志,可以让mysql记录下查询超过指定时间的语句,通过定位分
析性能的瓶颈,才能更好的优化数据库系统性能.
(1) 进入MySql 查询是否开了慢查询 show variables like ‘slow_query%‘; 参数解释： slow_query_log 慢查询开启状态 OFF 未开启 ON 为开启 slow_query_log_file 慢查询日志存放的位置（这个目录需要MySQL的运行帐号的可写权限，一般设置为MySQL的数据存放目录） （2）查看慢查询超时时间 show variables like ‘long%‘; ong_query_time 查询超过多少秒才记录 默认10秒 （3）开启慢日志（1）（是否开启慢查询日志，1表示开启，0表示关闭。） set global slow_query_log=1; （4）再次查看 show variables like ‘%slow_query_log%‘; （5）开启慢日志（2）：（推荐） 在my.cnf 文件中 找到[mysqld]下面添加： slow_query_log =1 slow_query_log_file=C:mysql-5.6.40-winx64datalocalhost-slow.log long_query_time = 1 参数说明： slow_query_log 慢查询开启状态 1 为开启 slow_query_log_file 慢查询日志存放的位置 long_query_time 查询超过多少秒才记录 默认10秒 修改为1秒
分页性能相关方案
第1页： select * from userinfo limit 0,10; 第2页： select * from userinfo limit 10,10; 第3页： select * from userinfo limit 20,10; 第4页： select * from userinfo limit 30,10; ...... 第2000010页 select * from userinfo limit 2000000,10; PS:会发现，越往后查询，需要的时间约长，是因为越往后查，全文扫描查询，会去数据表中扫描查询。
最有的解决方案
（1）只有上一页和下一页 做一个记录：记录当前页的最大id或最小id 下一页： select * from userinfo where id>max_id limit 10; 上一页： select * from userinfo where id<min_id order by id desc limit 10; (2) 中间有页码的情况 select * from userinfo where id in( select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as A order by A.id desc limit 10 );
分页性能相关方案
取当前表中的前十条记录,每十条取一次,取若干次..
第1页： select * from userinfo limit 0,10; 第2页： select * from userinfo limit 10,10; 第3页： select * from userinfo limit 20,10; 第4页： select * from userinfo limit 30,10; ...... 第2000010页 select * from userinfo limit 2000000,10; PS:会发现，越往后查询，需要的时间约长，是因为越往后查，全文扫描查询，会去数据表中扫描查询。
解决办法:
（1）只有上一页和下一页 做一个记录：记录当前页的最大id或最小id 下一页： select * from userinfo where id>max_id limit 10; 上一页： select * from userinfo where id<min_id order by id desc limit 10; (2) 中间有页码的情况 select * from userinfo where id in( select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as A order by A.id desc limit 10 );
create unique index 索引名 on 表名(列名)
以上是关于多表查询与索引的主要内容，如果未能解决你的问题，请参考以下文章