多表查询与索引

Posted panda-pandeyong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了多表查询与索引相关的知识,希望对你有一定的参考价值。

多表查询连接

  准备俩张员工信息表,我们要查询员工信息及员工所在部门.那么就需要俩张表进

  行连接查询,多表查询.

  

  外链接 语法

    select 字段列表

      from 表1 inner/left/right join 表2 on 表1.字段 = 表2.字段;

  第一种情况交叉连接: 不适用任何匹配条件.生成笛卡尔积.

mysql> select * from employee,department;
+----+----------+--------+------+--------+------+--------------+
| id | name     | sex    | age  | dep_id | id   | name         |
+----+----------+--------+------+--------+------+--------------+
|  1 | egon     | male   |   18 |    200 |  200 | 技术          |
|  1 | egon     | male   |   18 |    200 |  201 | 人力资源      |
|  1 | egon     | male   |   18 |    200 |  202 | 销售         |
|  1 | egon     | male   |   18 |    200 |  203 | 运营         |
|  2 | alex     | female |   48 |    201 |  200 | 技术         |
|  2 | alex     | female |   48 |    201 |  201 | 人力资源      |
|  2 | alex     | female |   48 |    201 |  202 | 销售         |
|  2 | alex     | female |   48 |    201 |  203 | 运营         |
|  3 | wupeiqi  | male   |   38 |    201 |  200 | 技术         |
|  3 | wupeiqi  | male   |   38 |    201 |  201 | 人力资源      |
|  3 | wupeiqi  | male   |   38 |    201 |  202 | 销售         |
|  3 | wupeiqi  | male   |   38 |    201 |  203 | 运营         |
|  4 | yuanhao  | female |   28 |    202 |  200 | 技术         |
|  4 | yuanhao  | female |   28 |    202 |  201 | 人力资源      |
|  4 | yuanhao  | female |   28 |    202 |  202 | 销售         |
|  4 | yuanhao  | female |   28 |    202 |  203 | 运营         |
|  5 | nvshen   | male   |   18 |    200 |  200 | 技术         |
|  5 | nvshen   | male   |   18 |    200 |  201 | 人力资源      |
|  5 | nvshen   | male   |   18 |    200 |  202 | 销售         |
|  5 | nvshen   | male   |   18 |    200 |  203 | 运营         |
|  6 | xiaomage | female |   18 |    204 |  200 | 技术         |
|  6 | xiaomage | female |   18 |    204 |  201 | 人力资源      |
|  6 | xiaomage | female |   18 |    204 |  202 | 销售         |
|  6 | xiaomage | female |   18 |    204 |  203 | 运营         |

 

  内连接 : 只连接匹配的行

#找两张表共有的部分,相当于利用条件从笛卡尔积结果中筛选出了匹配的结果
#department没有204这个部门,因而employee表中关于204这条员工信息没有匹配出来
mysql> select employee.id,employee.name,employee.age,employee.sex,department.name from employee inner join department 
on employee.dep_id=department.id; +----+---------+------+--------+--------------+ | id | name | age | sex | name | +----+---------+------+--------+--------------+ | 1 | egon | 18 | male | 技术 | | 2 | alex | 48 | female | 人力资源 | | 3 | wupeiqi | 38 | male | 人力资源 | | 4 | yuanhao | 28 | female | 销售 | | 5 | nvshen | 18 | male | 技术 | +----+---------+------+--------+--------------+ rows in set (0.00 sec) #上述sql等同于 mysql> select employee.id,employee.name,employee.age,employee.sex,department.name from employee,department where employee.dep_id=department.id;

 

  外链接之右连接: 优先显示右表全记录

#以右表为准,即找出所有部门信息,包括没有员工的部门
#本质就是:在内连接的基础上增加右边有,左边没有的结果
mysql> select employee.id,employee.name,department.name as depart_name from employee right join department on employee.dep_id=department.id;
+------+---------+--------------+
| id   | name    | depart_name  |
+------+---------+--------------+
|    1 | egon    | 技术         |
|    2 | alex    | 人力资源     |
|    3 | wupeiqi | 人力资源     |
|    4 | yuanhao | 销售         |
|    5 | nvshen  | 技术         |
| NULL | NULL    | 运营         |
+------+---------+--------------+
rows in set (0.00 sec)

 

  外链接之左连接: 优先显示左表全记录

#以左表为准,即找出所有员工信息,当然包括没有部门的员工
#本质就是:在内连接的基础上增加左边有,右边没有的结果
mysql> select employee.id,employee.name,department.name as depart_name from employee left join department on employee.dep_id=department.id;
+----+----------+--------------+
| id | name     | depart_name  |
+----+----------+--------------+
|  1 | egon     | 技术         |
|  5 | nvshen   | 技术         |
|  2 | alex     | 人力资源     |
|  3 | wupeiqi  | 人力资源     |
|  4 | yuanhao  | 销售         |
|  6 | xiaomage | NULL         |
+----+----------+--------------+
rows in set (0.00 sec)

 

  全外连接:显示左右俩个表全部记录

#外连接:在内连接的基础上增加左边有右边没有的和右边有左边没有的结果
#注意:mysql不支持全外连接 full JOIN
#强调:mysql可以使用此种方式间接实现全外连接
语法:select * from employee left join department on employee.dep_id = department.id 
       union all
      select * from employee right join department on employee.dep_id = department.id;

 mysql> select * from employee left join department on employee.dep_id = department.id
          union
        select * from employee right join department on employee.dep_id = department.id
           ;
+------+----------+--------+------+--------+------+--------------+
| id   | name     | sex    | age  | dep_id | id   | name         |
+------+----------+--------+------+--------+------+--------------+
|    1 | egon     | male   |   18 |    200 |  200 | 技术         |
|    5 | nvshen   | male   |   18 |    200 |  200 | 技术         |
|    2 | alex     | female |   48 |    201 |  201 | 人力资源     |
|    3 | wupeiqi  | male   |   38 |    201 |  201 | 人力资源     |
|    4 | yuanhao  | female |   28 |    202 |  202 | 销售         |
|    6 | xiaomage | female |   18 |    204 | NULL | NULL         |
| NULL | NULL     | NULL   | NULL |   NULL |  203 | 运营         |
+------+----------+--------+------+--------+------+--------------+
rows in set (0.01 sec)

#注意 union与union all的区别:union会去掉相同的纪录

 

  符合条件连接查询

 

  以内连接的方式查询employee和department表,并且employee表中的age

  字段值必须大于25,即找出年龄大于25岁的员工以及员工所在的部门.

 

select employee.name,department.name from employee inner join department
  on employee.dep_id = department.id
  where age > 25;

 

 

 

  以内连接的方式查询employee和department表,并且以age字段的升序方式显示. 

select employee.id,employee.name,employee.age,department.name from employee,department
    where employee.dep_id = department.id
    and age > 25
    order by age asc;

 

  子查询

  子查询是将一个查询语句嵌套在另一个查询语句中.

  内层查询语句的查询结果,可以为外层查询语句提供查询条件.

  子查询中可以包含:in, not in , any , all , exists 和 not exist等关键字

  还可以包含比较运算符: = , != , > ,< 等

  

  例 带in 关键字的查询

#查询平均年龄在25岁以上的部门名
select id,name from department
    where id in 
        (select dep_id from employee group by dep_id having avg(age) > 25);
# 查看技术部员工姓名
select name from employee
    where dep_id in 
        (select id from department where name=技术);
#查看不足1人的部门名
select name from department
    where id not in 
        (select dep_id from employee group by dep_id);

 

  带比较运算的子查询

#比较运算符:=!=>>=<<=<>
#查询大于所有人平均年龄的员工名与年龄
mysql> select name,age from employee where age > (select avg(age) from employee);
+---------+------+
| name    | age  |
+---------+------+
| alex    |   48 |
| wupeiqi |   38 |
+---------+------+

#查询大于部门内平均年龄的员工名、年龄
思路:
      (1)先对员工表(employee)中的人员分组(group by),查询出dep_id以及平均年龄。
       (2)将查出的结果作为临时表,再对根据临时表的dep_id和employee的dep_id作为筛选条件将employee表和临时表进行内连接。
       (3)最后再将employee员工的年龄是大于平均年龄的员工名字和年龄筛选。



mysql> select t1.name,t1.age from employee as t1
             inner join
            (select dep_id,avg(age) as avg_age from employee group by dep_id) as t2
            on t1.dep_id = t2.dep_id
            where t1.age > t2.avg_age;
+------+------+
| name | age  |
+------+------+
| alex |   48 |

 

  带exists关键字的子查询

#EXISTS关字键字表示存在。在使用EXISTS关键字时,内层查询语句不返回查询的记录。而是返回一个真假值。True或False
#当返回True时,外层查询语句将进行查询;当返回值为False时,外层查询语句不进行查询
#department表中存在dept_id=203,Ture
mysql> select * from employee  where exists (select id from department where id=200);
+----+----------+--------+------+--------+
| id | name     | sex    | age  | dep_id |
+----+----------+--------+------+--------+
|  1 | egon     | male   |   18 |    200 |
|  2 | alex     | female |   48 |    201 |
|  3 | wupeiqi  | male   |   38 |    201 |
|  4 | yuanhao  | female |   28 |    202 |
|  5 | nvshen   | male   |   18 |    200 |
|  6 | xiaomage | female |   18 |    204 |
+----+----------+--------+------+--------+
#department表中存在dept_id=205,False
mysql> select * from employee  where exists (select id from department where id=204);
Empty set (0.00 sec)

 

索引

  索引介绍: 数据库中专门用于帮助用户快速查找数据的一种数据结构.类似

  于字典中的目录,查找字典内容时可以根据目录查到数据的存放位置,然后

  直接获取.

  索引作用  约束和加速查找

 

  常见的索引:

  普通索引;  唯一索引;  主键索引;  

  联合索引(多列) : 联合主键索引    联合唯一索引    联合普通索引

 

  有无索引的区别以及建立索引的目的

  无索引: 从前往后逐条查询

  有索引: 创建索引的本质,就是创建额外的文件(某种格式存储,查询的时

  候,先去额外的文件找,定好位置,再去原始表中直接查询.)数据过多,对硬

  盘也有损耗.

  建立索引目的 : 

    额外的文件保存特殊的数据结构

    查询快, 但是插入更新删除依然慢

    创建索引后,必须命中索引才能有效

 

hash索引和BTree索引
(1)hash类型的索引:查询单条快,范围查询慢
(2)btree类型的索引:b+树,层数越多,数据量指数级增长(我们就用它,因为innodb默认支持它)

 

 

 

  普通索引  作用:仅有一个加速查找

    创建表+普通索引

create table userinfo(
                   nid int not null auto_increment primary key,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   index ix_name(name)
         #index创建索引目录 ix_name表示创建的索引名字 (name)表示为哪个字段创建索引 );

 

    普通索引   

    create index 索引的名字 on 表名(列名)
    单独为某一表的某一字段创建普通索引

  删除索引
   
drop index 索引的名字 on 表名

  查看索引
  
show index from 表名
  
  唯一索引
  功能 : 加速查找  唯一约束(可含null)
  
create table userinfo(
                   id int not null auto_increment primary key,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   unique  index  ix_name(name)
               );
  唯一索引: create unique index 索引名 on 表名(列名)
  
  删除唯一索引 : drop index 索引名 on 表名;
  
  主键索引
  (主键查找类似于 not null + unique 不为空且唯一)
  功能:加速查找  唯一约束(不含null)
  创建表+主键索引
       create table userinfo(

                   id int not null auto_increment primary key,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   unique  index  ix_name(name)
           )
          or

           create table userinfo(

                   id int not null auto_increment,
                   name varchar(32) not null,
                   email varchar(64) not null,
                   primary key(nid),
                   unique  index  ix_name(name)
         )
  
  主键索引  alter table 表名 add primary key(列名);

  删除主键索引
  
alter table 表名 drop primary key;
  alter table 表名 modify 列名 int, drop primary key;  
  组合索引
  组合索引是将n个列组合成一个索引,进行查询,并不是采用n个列的各个
  单列索引,进行查找,而是统一采用最左前缀规则查找.查找时采用最左面的
  索引与后面的索引俩俩结合查找,最左面的索引不同,组合索引的效率也会不同.
  
  其应用场景为: 频繁的同时使用n列来进行查询,如 :
  where name=
‘alex‘ and email=‘[email protected]‘.                             
    create index 索引名 on 表名(列名1,列名2);
  组合索引总和保存了col1和col2的数据,他不需要在2个索引表之间跳转,所以速度会更快,组合索引
  的搜索步骤如下

技术分享图片

 


  索引名词(非正规SQL名称)
#覆盖索引:在索引文件中直接获取数据
        例如:
        select name from userinfo where name = alex50000;


#索引合并:把多个单列索引合并成使用
        例如:
        select * from  userinfo where name = alex13131 and id = 13131;

  如下图索引合并,需要反复在俩个索引表间进行跳转,造成速度慢的原因之一,假设col1=‘ABC‘的数

据有5行,满足col2=123的数据有1000行,最坏的情况(那5行在col2的1000行最后面) 需要扫描完col2的

1000行才能找到需要的数据,并不能达到快速查找的目的.

技术分享图片

 

  正确使用索引的情况

  数据库表中添加索引后确实会让查询速度飞起,但是前提必须是正确的使
  用索引来查询,如果以错误的方式使用,则即使建立索引也会不奏效.

  使用索引,必须:
    创建索引-->命中索引-->正确使用索引

  测试:
技术分享图片
#1. 准备表
create table userinfo(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);

#2. 创建存储过程,实现批量插入记录
delimiter $$ #声明存储过程的结束符号为$$
create procedure auto_insert1()
BEGIN
    declare i int default 1;
    while(i<3000000)do
        insert into userinfo values(i,concat(alex,i),male,concat(egon,i,@oldboy));
        set i=i+1;
    end while;
END$$ #$$结束
delimiter ; #重新声明分号为结束符号

#3. 查看存储过程
show create procedure auto_insert1G 

#4. 调用存储过程
call auto_insert1();





- like %xx
            select * from userinfo where name like %al;
        - 使用函数
            select * from userinfo where reverse(name) = alex333;
        - or
            select * from userinfo where id = 1 or email = [email protected];
            特别的:当or条件中有未建立索引的列才失效,以下会走索引
                    select * from userinfo where id = 1 or name = alex1222;
                    select * from userinfo where id = 1 or email = [email protected] and name = alex112
        - 类型不一致
            如果列是字符串类型,传入条件是必须用引号引起来,不然...
            select * from userinfo where name = 999;
        - !=
            select count(*) from userinfo where name != alex
            特别的:如果是主键,则还是会走索引
                select count(*) from userinfo where id != 123
        - >
            select * from userinfo where name > alex
            特别的:如果是主键或索引是整数类型,则还是会走索引
                select * from userinfo where id > 123
                select * from userinfo where num > 123
        - order by
            select email from userinfo order by name desc;
            当根据索引排序时候,选择的映射如果不是索引,则不走索引
            特别的:如果对主键排序,则还是走索引:
                select * from userinfo order by nid desc;
         
        - 组合索引最左前缀
            如果组合索引为:(name,email)
            name and email       -- 使用索引
            name                 -- 使用索引
            email                -- 不使用索引
View Code

 

  最左前缀

最左前缀匹配:
        create index ix_name_email on userinfo(name,email);
                 select * from userinfo where name = alex;
                 select * from userinfo where name = alex and email=[email protected];

                 select * from userinfo where  email=[email protected];

             如果使用组合索引如上,name和email组合索引之后,查询
             (1)name和email ---使用索引2)name        ---使用索引3)email       ---不适用索引
              对于同时搜索n个条件时,组合索引的性能好于多个单列索引
        ******组合索引的性能>索引合并的性能*********

 

  索引注意事项:
  
(1)避免使用select *
       (2)count(1)或count(列) 代替count(*)
       (3)创建表时尽量使用char代替varchar
       (4)表的字段顺序固定长度的字段优先
       (5)组合索引代替多个单列索引(经常使用多个条件查询时)
       (6)尽量使用短索引 (create index ix_title on tb(title(16));特殊的数据类型 text类型)
       (7)使用连接(join)来代替子查询
       (8)连表时注意条件类型需一致
       (9)索引散列(重复少)不适用于建索引,例如:性别不合适

  执行计划

  explain+查询sql  用于显示sql执行信息参数,根据参考信息可以进行sql优化

mysql> explain select * from userinfo;
    +----+-------------+----------+------+---------------+------+---------+------+---------+-------+
    | id | select_type | table    | type | possible_keys | key  | key_len | ref  | rows    | Extra |
    +----+-------------+----------+------+---------------+------+---------+------+---------+-------+
    |  1 | SIMPLE      | userinfo | ALL  | NULL          | NULL | NULL    | NULL | 2973016 | NULL  |
    +----+-------------+----------+------+---------------+------+---------+------+---------+-------+

    mysql> explain select * from (select id,name from userinfo where id <20) as A;
    +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
    | id | select_type | table      | type  | possible_keys | key     | key_len | ref  | rows | Extra       |
    +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
    |  1 | PRIMARY     | <derived2> | ALL   | NULL          | NULL    | NULL    | NULL |   19 | NULL        |
    |  2 | DERIVED     | userinfo   | range | PRIMARY       | PRIMARY | 4       | NULL |   19 | Using where |
    +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
rows in set (0.05 sec)

  参数

select_type:
                查询类型
                    SIMPLE          简单查询
                    PRIMARY         最外层查询
                    SUBQUERY        映射为子查询
                    DERIVED         子查询
                    UNION           联合
                    UNION RESULT    使用联合的结果
table:
                正在访问的表名
type:
                查询时的访问方式,性能:all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
                ALL             全表扫描,对于数据表从头到尾找一遍
                                select * from userinfo;
                                特别的:如果有limit限制,则找到之后就不在继续向下扫描
                                       select * from userinfo where email = [email protected]
                                       select * from userinfo where email = [email protected] limit 1;
                                       虽然上述两个语句都会进行全表扫描,第二句使用了limit,则找到一个后就不再继续扫描。

INDEX :      全索引扫描,对索引从头到尾找一遍
                                select nid from userinfo;

RANGE:        对索引列进行范围查找
                                select *  from userinfo where name < alex;
                                PS:
                                    between and
                                    in
                                    >   >=  <   <=  操作
                                    注意:!=> 符号


INDEX_MERGE:  合并索引,使用多个单列索引搜索
                                select *  from userinfo where name = alex or nid in (11,22,33);

REF:       根据索引查找一个或多个值
                                select *  from userinfo where name = alex112;

EQ_REF:    连接时使用primary key 或 unique类型
                                select userinfo2.id,userinfo.name from userinfo2 left join tuserinfo on userinfo2.id = userinfo.id;



CONST:常量
            表最多有一个匹配行,因为仅有一行,在这行的列值可被优化器剩余部分认为是常数,const表很快,因为它们只读取一次。
                 select id from userinfo where id = 2 ;

SYSTEM:系统
             表仅有一行(=系统表)。这是const联接类型的一个特例。
                 select * from (select id from userinfo where id = 1) as A;


possible_keys:可能使用的索引

key:真实使用的

key_len:  MySQL中使用索引字节长度

rows: mysql估计为了找到所需的行而要读取的行数 ------ 只是预估值

extra:
        该列包含MySQL解决查询的详细信息
        “Using index”
           此值表示mysql将使用覆盖索引,以避免访问表。不要把覆盖索引和index访问类型弄混了。
        “Using where”
           这意味着mysql服务器将在存储引擎检索行后再进行过滤,许多where条件里涉及索引中的列,当(并且如果)它读取索引时,就能被存储引擎检验,因此不是所有带where子句的查询都会显示“Using where”。有时“Using where”的出现就是一个暗示:查询可受益于不同的索引。
        “Using temporary”
           这意味着mysql在对查询结果排序时会使用一个临时表。
        “Using filesort”
           这意味着mysql会对结果使用一个外部索引排序,而不是按索引次序从表里读取行。mysql有两种文件排序算法,这两种排序方式都可以在内存或者磁盘上完成,explain不会告诉你mysql将使用哪一种文件排序,也不会告诉你排序会在内存里还是磁盘上完成。
        “Range checked for each record(index map: N)”
           这个意味着没有好用的索引,新的索引将在联接的每一行上重新估算,N是显示在possible_keys列中索引的位图,并且是冗余的

 

  慢日志记录

  开启慢查询日志,可以让mysql记录下查询超过指定时间的语句,通过定位分

  析性能的瓶颈,才能更好的优化数据库系统性能.

(1) 进入MySql 查询是否开了慢查询
         show variables like slow_query%;
         参数解释:
             slow_query_log 慢查询开启状态  OFF 未开启 ON 为开启
        slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录)

(2)查看慢查询超时时间
       show variables like long%;
       ong_query_time 查询超过多少秒才记录   默认10秒 

(3)开启慢日志(1)(是否开启慢查询日志,1表示开启,0表示关闭。)
           set global slow_query_log=1;
(4)再次查看
              show variables like %slow_query_log%;

(5)开启慢日志(2):(推荐)
         在my.cnf 文件中
         找到[mysqld]下面添加:
           slow_query_log =1
        slow_query_log_file=C:mysql-5.6.40-winx64datalocalhost-slow.log
         long_query_time = 1

    参数说明:
        slow_query_log 慢查询开启状态  1 为开启
        slow_query_log_file 慢查询日志存放的位置
        long_query_time 查询超过多少秒才记录   默认10秒 修改为1秒

 

  分页性能相关方案

  

第1页:
select * from userinfo limit 0,10;
第2页:
select * from userinfo limit 10,10;
第3页:
select * from userinfo limit 20,10;
第4页:
select * from userinfo limit 30,10;
......
第2000010页
select * from userinfo limit 2000000,10;

PS:会发现,越往后查询,需要的时间约长,是因为越往后查,全文扫描查询,会去数据表中扫描查询。

 

  最有的解决方案

1)只有上一页和下一页
        做一个记录:记录当前页的最大id或最小id
        下一页:
        select * from userinfo where id>max_id limit 10;

        上一页:
        select * from userinfo where id<min_id order by id desc limit 10;


  (2) 中间有页码的情况
           select * from userinfo where id in(
               select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as A order by A.id desc limit 10
           );

 

   分页性能相关方案
  取当前表中的前十条记录,每十条取一次,取若干次..
第1页:
select * from userinfo limit 0,10;
第2页:
select * from userinfo limit 10,10;
第3页:
select * from userinfo limit 20,10;
第4页:
select * from userinfo limit 30,10;
......
第2000010页
select * from userinfo limit 2000000,10;

PS:会发现,越往后查询,需要的时间约长,是因为越往后查,全文扫描查询,会去数据表中扫描查询。

  解决办法:

  

1)只有上一页和下一页
        做一个记录:记录当前页的最大id或最小id
        下一页:
        select * from userinfo where id>max_id limit 10;

        上一页:
        select * from userinfo where id<min_id order by id desc limit 10;


  (2) 中间有页码的情况
           select * from userinfo where id in(
               select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as A order by A.id desc limit 10
           );

 

 
 

  

 



create unique index 索引名 on 表名(列名)

    


  
 

 

















































以上是关于多表查询与索引的主要内容,如果未能解决你的问题,请参考以下文章

Hibernate的HQL多表查询

56 多表连接查询 索引

如何在单个查询中使用索引进行多表连接?

mybatis-基于xml的多表查询

多表联合查询注意事项(索引)

python flask(多对多表查询)