数据库理论之视图事务索引优化查询

Posted 2021-03-22 yafeng666

数据库理论之视图、事务、索引、优化查询

一、视图

• 灵魂三问

    1、什么是视图
        视图就是通过查询得到一张虚拟表，然后保存下来，下次直接使用即可
    2、为什么要用视图
        如果要频繁的使用一张虚拟表，可以不用重复查询
    3、如何使用视图
        create view 视图名 as sql语句

        注意：创建出来的视图只有表结构，数据来源还是原来的表
              视图通常都是用于查询，所以尽量不要修改视图中的数据


        思考：开发过程中应不应该使用视图？
            不应该

二、触发器

• 命名规则及理论

在满足对某张表数据的增删改的情况下，自动触发的功能称之为触发器

    为何要用触发器？
    触发器专门针对我们对一张表数据增insert、删delete、改update的行为、这类行为一旦执行
    就会触发触发器的执行，即自动运行另一段sql代码

    触发器
        trigger

    创建触发器的语法
        create trigger 触发器的名字  before/after insert/update/delete  for each row
        begin
            sql语句...
        end

    触发器的命名规则
        比如：tri_before_insert_t1  t1表插入前的触发器

        针对插入：
        增前
        create trigger tri_before_insert_t1 before insert on 表名 for each row
        begin
            sql代码...
        end

        增后
        create trigger tri_after_insert_t2 after insert on 表名 for each row
        begin
            sql代码...
        end


        针对删除：
        删前
        create trigger tri_before_delete_t1 before delete on 表名 for each row
        begin
            sql代码...
        end

        删后
        create trigger tri_after_delete_t2 after delete on 表名 for each row
        begin
            sql代码...
        end


        # 针对修改
        改前
        create trigger tri_before_update_t2 before update on 表名 for each row
        begin
            sql代码。。。
        end

        改后
        create trigger tri_after_update_t1 after update on 表名 for each row
        begin
            sql代码。。。
        end在满足对某张表数据的增删改的情况下，自动触发的功能称之为触发器

    为何要用触发器？
    触发器专门针对我们对一张表数据增insert、删delete、改update的行为、这类行为一旦执行
    就会触发触发器的执行，即自动运行另一段sql代码

    触发器
        trigger

    创建触发器的语法
        create trigger 触发器的名字  before/after insert/update/delete  for each row
        begin
            sql语句...
        end

    触发器的命名规则
        比如：tri_before_insert_t1  t1表插入前的触发器

        针对插入：
        增前
        create trigger tri_before_insert_t1 before insert on 表名 for each row
        begin
            sql代码...
        end

        增后
        create trigger tri_after_insert_t2 after insert on 表名 for each row
        begin
            sql代码...
        end


        针对删除：
        删前
        create trigger tri_before_delete_t1 before delete on 表名 for each row
        begin
            sql代码...
        end

        删后
        create trigger tri_after_delete_t2 after delete on 表名 for each row
        begin
            sql代码...
        end


        # 针对修改
        改前
        create trigger tri_before_update_t2 before update on 表名 for each row
        begin
            sql代码。。。
        end

        改后
        create trigger tri_after_update_t1 after update on 表名 for each row
        begin
            sql代码。。。
        end


    案例：
    CREATE TABLE cmd (
        id INT PRIMARY KEY auto_increment,
        USER CHAR (32),
        priv CHAR (10),
        cmd CHAR (64),
        sub_time datetime, #提交时间
        success enum ('yes', 'no') #0代表执行失败
    );


    CREATE TABLE errlog (
        id INT PRIMARY KEY auto_increment,
        err_cmd CHAR (64),
        err_time datetime
    );


    知识点补充：
        sql语句默认是以分号结束
        但是可以通过delimiter去修改结束符
        比如：delimiter $$ 将python默认的结束符由;号换成$$
        注意：这种修改，只在当前库有效，并且当前窗口一旦关闭（退出）就会失效
        所以也叫临时修改

    delimiter $$  # 将mysql默认的结束符由;换成$$
    create trigger tri_after_insert_cmd after insert on cmd for each row
    begin
        if NEW.success = 'no' then  # 新记录都会被MySQL封装成NEW对象
            insert into errlog(err_cmd,err_time) values(NEW.cmd,NEW.sub_time);
        end if;
    end $$
    delimiter ;  # 结束之后记得再改回来，不然后面结束符就都是$$了


    # 往表cmd中插入记录，触发触发器，根据if条件决定是否插入错误日志
    INSERT INTO cmd (
        USER,
        priv,
        cmd,
        sub_time,
        success
    )
    VALUES
        ('egon','0755','ls -l /etc',NOW(),'yes'),
        ('egon','0755','cat /etc/passwd',NOW(),'no'),
        ('egon','0755','useradd xxx',NOW(),'no'),
        ('egon','0755','ps aux',NOW(),'yes');

    # 查询errlog表记录
    select * from errlog;
    # 删除触发器
    drop trigger tri_after_insert_cmd;

三、事务（需掌握）

• 四大特性

 保证数据操作的安全性，一致性

    什么是事务
        开启一个事务可以包含一些sql语句，这些sql语句要么同时成功
        要么一个都别想成功，称之为事务的原子性

    事务的作用
        保证了对数据库操作的数据安全性
        执行回滚操作
            一旦数据操作的不符合预期，可以回滚到上一个状态

    开启事务
        start transaction

    回滚
        rollback

    确认
        commit

    事务的四大特性ACID

        原子性（atomicity） 一个事务是一个不可分割的工作单位，事务中操作要么都做，要么都不做

        一致性（consistency） 一致性与原子性是密切相关的

        隔离性（isolation） 一个事务的执行不被其他事务干扰，一个事务内部的操作与其他事务是隔离的

        持久性（durability） 指的是一个事务一旦确认提交，那么它对数据库中的改变是永久性的，接下来其他的操作对他没有影响

        使用案例：

        create table user(
            id int primary key auto_increment,
            name char(32),
            balance int
        );

        insert into user(name,balance)
        values
        ('wsb',1000),
        ('egon',1000),
        ('ysb',1000);

        # 修改数据之前先开启事务操作
        start transaction;

        # 修改操作
        update user set balance=900 where name='wsb'; #买支付100元
        update user set balance=1010 where name='egon'; #中介拿走10元
        update user set balance=1090 where name='ysb'; #卖家拿到90元

        # 回滚到上一个状态
        rollback;

        # 开启事务之后，只要没有执行commit操作，数据其实都没有真正刷新到硬盘
        commit;
        """开启事务检测操作是否完整，不完整主动回滚到上一个状态，如果完整就应该执行commit操作"""

        # 站在python代码的角度，应该实现的伪代码逻辑，
        try:
            update user set balance=900 where name='wsb'; #买支付100元
            update user set balance=1010 where name='egon'; #中介拿走10元
            update user set balance=1090 where name='ysb'; #卖家拿到90元
        except 异常:
            rollback;
        else:
            commit;

四、数据库三大设计方式

• 精简版

- 第一范式（确保每列保持原子性）

        第一范式是最基本的范式。如果数据库表中所有字段都是不可分解的原子值，那就说明该数据库表满足了第一范式

    - 第二范式（确保表中的每列都和主键相关）

        第二范式需要确保数据库表中的每一列都在和主键相关，而不能之余主键的磨一部分相关。也就是说在一个数据库表中，一个表中中能保存一种数据，不可以把多种数据保存在同一张数据表中

    - 第三范式（确保每列都和主键直接相关，而不是间接相关）

五、存储过程

• 了解

存储过程包含了一系列可执行的sql语句，存储过程存放于MySQL中，通过调用它的名字可以执行其内部的一堆sql

    目的：内部封装了一系列的sql语句，让不会mysql操作的人也能够通过调用该存储过程来操作数据库

    关键字:
        procedure

    语法结构：
        create procedure 存储过程的名字（
            形参1，
            形参2，
            形参3
        ）
        begin
            sql语句
        end;


    无参
        delimiter $$
        create procedure p1()
        begin
            select * from user;
        end $$
        delimiter ;

        # mysql 中调用
        call p1();

    有参
        delimiter $$
        create procedure p1(
            in m int,  # in表示这个参数必须只能是传入不能被返回出去
            in n int,
            out res int  # out表示这个参数可以被返回出去，还有一个inout表示即可以传入也可以被返回出去
        )
        begin
            select tname from teacher where tid > m and tid < n;
            set res=0;
        end $$
        delimiter ;

        # 小知识点补充，当一张表的字段特别多记录也很多的情况下，终端下显示出来会出现显示错乱的问题
        select * from mysql.userG;


    python代码中使用存储过程

    # 大前提：存储过程在那个库下面创建的只能在对应的库下面才能使用！！！

    # 1、直接在mysql中调用

    set @res=10   # res的值是用来判断存储过程是否被执行成功的依据，所以需要先定义一个变量@res存储10
    call p1(2,4,10); 报错
    call p1(2,4，@res);


    # 查看结果
    select @res;   # 执行成功，@res变量值发生了变化

    # 2、在python程序中调用
    pymysql 连接mysql
    产生的游标 cursor.callproc('p1', (2,4,10))
    # 内部原理：@_p1_0=2,@_p1_1=4,@_p1_2=10;
    cursor.execute('select @_p1_2;')


    # 3、存储过程与事务使用举例(了解)
    delimiter //
    create PROCEDURE p5(
        OUT p_return_code tinyint
    )
    BEGIN
        DECLARE exit handler for sqlexception
        BEGIN
            -- ERROR
            set p_return_code = 1;
            rollback;
        END;


      DECLARE exit handler for sqlwarning
      BEGIN
          -- WARNING
          set p_return_code = 2;
          rollback;
      END;

      START TRANSACTION;
          update user set balance=900 where id =1;
          update user123 set balance=1010 where id = 2;
          update user set balance=1090 where id =3;
      COMMIT;

      -- SUCCESS
      set p_return_code = 0; #0代表执行成功


    END //
    delimiter ;

六、函数

• 了解

CREATE TABLE blog (
        id INT PRIMARY KEY auto_increment,
        NAME CHAR (32),
        sub_time datetime
    );

    INSERT INTO blog (NAME, sub_time)
    VALUES
        ('第1篇','2015-03-01 11:31:21'),
        ('第2篇','2015-03-11 16:31:21'),
        ('第3篇','2016-07-01 10:21:31'),
        ('第4篇','2016-07-22 09:23:21'),
        ('第5篇','2016-07-23 10:11:11'),
        ('第6篇','2016-07-25 11:21:31'),
        ('第7篇','2017-03-01 15:33:21'),
        ('第8篇','2017-03-01 17:32:21'),
        ('第9篇','2017-03-01 18:31:21');

    select date_format(sub_time,'%Y-%m'),count(id) from blog
    group by date_format(sub_time,'%Y-%m');

七、流程控制

• 了解

if条件语句
    delimiter //
    CREATE PROCEDURE proc_if ()
    BEGIN
        declare i int default 0;
        if i = 1 THEN
            SELECT 1;
        ELSEIF i = 2 THEN
            SELECT 2;
        ELSE
            SELECT 7;
        END IF;

    END //
    delimiter ;


    while 循环
    delimiter //
    CREATE PROCEDURE proc_while ()
    BEGIN
        DECLARE num INT ;
        SET num = 0 ;
        WHILE num < 10 DO
            SELECT
                num ;
            SET num = num + 1 ;
        END WHILE ;
    END //
    delimiter ;

八、索引与慢查询优化

• 知识回顾

存在硬盘上的，那查询数据不可避免的需要进行io操作

    索引在MySQL中也叫做“键”，是存储引擎用于快速找到记录的一种数据结构

        primary key
        unique key
        index key

    注意foreign key不是用来加速查询用的，不在研究范围内，
    上面三种key前两种除了有加速查询的效果以外还有额外的约束条件（primary key：非空且唯一，unique key：唯一），而index key没有任何约束功能只会帮你加速查询

    索引
        加快数据查询
    索引就是一种数据结构就类似于书的目录。

    索引的影响：
        在表中有大量数据的前提下，创建索引速度会变得很慢
        在索引创建完毕后，对表的查询性能会大幅提升，但是写（插入或修改）的时候，索引反而会降低速度

• 慢查询优化步骤(重要面试笔试可能会出)

0.先运行看看是否真的很慢，注意设置SQL_NO_CACHE
    1.where条件单表查，锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起，单表每个字段分别查询，看哪个字段的区分度最高
    2.explain查看执行计划，是否与1预期一致（从锁定记录较少的表开始查询）
    3.order by limit 形式的sql语句让排序的表优先查
    4.了解业务方使用场景
    5.加索引时参照建索引的几大原则
    6.观察结果，不符合预期继续从0分析

九、聚集索引（primary key）

    聚集索引其实就是表的主键，innodb引擎规定一张表中必须要有主键
    特点：叶子结点放的一条条完整的记录

十、辅助索引（unique, index）

    辅助索引：查询数据的时候不可能都是用id作为筛选条件，也可能会用name，       password等字段信息，这时候就无法利用到聚集索引的加速效果。
    就需要给其他字段建立索引，这些索引就叫做辅助索引

    特点：叶子结点存放的是辅助索引字段对应的那条记录的主键的值(比如:按照name     字段创建索引，那么叶子节点存放的是:{name对应的值:name所在的那条记录的    主键值})

十一、覆盖索引

    select name from user where name='jason';
    覆盖索引:只在辅助索引的叶子节点中就已经找到了所有我们想要的数据

十二、索引的数据结构

• 树

   树状图是一种数据结构，它是由n（n>=1）个有限结点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。
它具有以下的特点：每个结点有零个或多个子结点；没有父结点的结点称为根结点；每一个非根结点有且只有一个父结点；除了根结点外，每个子结点可以分为多个不相交的子树

![](https://img2018.cnblogs.com/blog/1843751/201912/1843751-20191217193710428-1533140363.png)




   根结点 : A
   父节点 : A是B,C的父节点
   叶子节点：D,E是叶子节点
   树的深度/树的高度：高度为3

• B+树

    每次查找数据时把磁盘IO次数控制在一个很小的数量级，最好是常数数量级。那么我们就想到如果一个高度可控的多路搜索树是否能满足需求呢？
    就这样，b+树应运而生（B+树是通过二叉查找树，再由平衡二叉树，B树演化而来）。

![](https://img2018.cnblogs.com/blog/1843751/201912/1843751-20191217193732081-1449573806.png)



    b+ 树的性质:
      1、索引字段要尽量小
         通过上面的分析，我们知道IO次数取决于b+数的高度h，假设当前数据表的         数据为N，每个磁盘块的数据项的数量是m，则有h=㏒(m+1)N，
         当数据量N一定的情况下，m越大，h越小；而m = 磁盘块的大小 / 数据项          的大小，磁盘块的大小也就是一个数据页的大小，是固定的，
         如果数据项占的空间越小，数据项的数量越多，树的高度越低。这就是为什          么每个数据项，即索引字段要尽量的小，比如int占4字节，要比bigint8字          节少一半。
         这也是为什么b+树要求把真实的数据放到叶子节点而不是内层节点，一旦放          到内层节点，磁盘块的数据项会大幅度下降，导致树增高。当数据项等于1时          将会退化成线性表

       2、索引的最左匹配特性
         b+数是按照从左到右的顺序来建立搜索树的，比如当(张三,20,F)这样的数          据来检索的时候，b+树会优先比较name来确定下一步的所搜方向，
         如果name相同再依次比较age和sex，最后得到检索的数据；但当(20,F)          这样的没有name的数据来的时候，b+树就不知道下一步该查哪个节点，
         因为建立搜索树的时候name就是第一个比较因子，必须要先根据name来搜          索才能知道下一步去哪里查询。

十三、查询优化神器-explain

    关于explain命令相信大家并不陌生，具体用法和字段含义可以参考官网explain-output，这里需要强调rows是核心指标，
    绝大部分rows小的语句执行一定很快（有例外，下面会讲到）。所以优化语句基本上都是在优化rows

    执行计划：让mysql预估执行操作(一般正确)
    all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
    id,email

    慢：
        select * from userinfo3 where name='alex'

        explain select * from userinfo3 where name='alex'
        type: ALL(全表扫描)
            select * from userinfo3 limit 1;
    快：
        select * from userinfo3 where email='alex'
        type: const(走索引)

十四、学习建议以及开发必备工具

• 开发必备工具

github
gitlab
码云
谷歌
百度
Stack Overflow

• 思想指导

    一旦你选择了IT这个行业，那么恭喜你，你就选择了终身学习

    男人最应该挣的三样东西
    1.面子
    2.女人
    3.钱

    终身学习

    背英语单词

    手机截图巩固知识点

    同在一个屋檐下
    为何差距那么大

    只要思想不滑坡
    方法总比困难多

    程序员的最为重要法则：打死都不能报错（出bug）
    
    共勉！！！