Python网络编程6 MySQL

Posted 2020-09-29

MySQL

数据库介绍

什么是数据库？

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，
每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。
我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。
所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。

RDBMS即关系数据库管理系统(Relational Database Management System)的特点：
数据以表格的形式出现
每行为各种记录名称
每列为记录名称所对应的数据域
许多的行和列组成一张表单
若干的表单组成database

RDBMS 术语

在我们开始学习MySQL 数据库前，让我们先了解下RDBMS的一些术语：
数据库: 数据库是一些关联表的集合。.
数据表: 表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。
列: 一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。
行：一行（=元组，或记录）是一组相关的数据，例如一条用户订阅的数据。
冗余：存储两倍数据，冗余可以使系统速度更快。(表的规范化程度越高，表与表之间的关系就越多；查询时可能经常需要在多个表之间进行连接查询；而进行连接操作会降低查询速度。例如，学生的信息存储在student表中，院系信息存储在department表中。通过student表中的dept_id字段与department表建立关联关系。如果要查询一个学生所在系的名称，必须从student表中查找学生所在院系的编号（dept_id），然后根据这个编号去department查找系的名称。如果经常需要进行这个操作时，连接查询会浪费很多的时间。因此可以在student表中增加一个冗余字段dept_name，该字段用来存储学生所在院系的名称。这样就不用每次都进行连接操作了。)
主键：主键是唯一的。一个数据表中只能包含一个主键。你可以使用主键来查询数据。
外键：外键用于关联两个表。
复合键：复合键（组合键）将多个列作为一个索引键，一般用于复合索引。
索引：使用索引可快速访问数据库表中的特定信息。索引是对数据库表中一列或多列的值进行排序的一种结构。类似于书籍的目录。
参照完整性: 参照的完整性要求关系中不允许引用不存在的实体。与实体完整性是关系模型必须满足的完整性约束条件，目的是保证数据的一致性。

Mysql数据库

Mysql是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。
Mysql是开源的，所以你不需要支付额外的费用。
Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
MySQL使用标准的SQL数据语言形式。
Mysql可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。
Mysql对PHP有很好的支持，PHP是目前最流行的Web开发语言。
MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。
Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。

mysql基本操作

显示数据库

 show databases; 

Mysql安装成功后，默认的root用户密码为空，你可以使用以下命令来创建root用户的密码
 mysqladmin -u root password "new_password"; 

现在你可以通过以下命令来连接到Mysql服务器

 mysql -u root -p xxoo 

创建mysql用户并赋予权限

use mysql;
grant all on db_name.* to ‘jia‘@‘%‘ identified by ‘123‘;
flush privileges;

管理MySQL的命令
以下列出了使用Mysql数据库过程中常用的命令：
USE 数据库名 :选择要操作的Mysql数据库，使用该命令后所有Mysql命令都只针对该数据库。
SHOW DATABASES: 列出 MySQL 数据库管理系统的数据库列表。
SHOW TABLES: 显示指定数据库的所有表，使用该命令前需要使用 use命令来选择要操作的数据库。
SHOW COLUMNS FROM 数据表: 显示数据表的属性，属性类型，主键信息 ，是否为 NULL，默认值等其他信息。
create database testdb charset "utf8"; 创建一个叫testdb的数据库，且让其支持中文
drop database testdb; 删除数据库
SHOW INDEX FROM 数据表:显示数据表的详细索引信息，包括PRIMARY KEY（主键）。

数据类型与创建表

数值类型
日期和时间类型
字符串类型

创建数据表

create table student(
    stu_id int not null auto_increment,
    name char(32) not null,
    age int not null,
    register_date date,
    primary key (stu_id)
    );

如果你不想字段为 NULL 可以设置字段的属性为 NOT NULL， 在操作数据库时如果输入该字段的数据为NULL ，就会报错。
AUTO_INCREMENT定义列为自增的属性，一般用于主键，数值会自动加1。
PRIMARY KEY关键字用于定义列为主键。 您可以使用多列来定义主键，列间以逗号分隔。

插入数据

insert into student (name,age,register_date) values ("alex li",22,"2016-03-04");

查询数据

select column_name,column_name from table_name [where clause] [limit n] [offset m]

查询语句中你可以使用一个或者多个表，表之间使用逗号(,)分割，并使用WHERE语句来设定查询条件。
SELECT 命令可以读取一条或者多条记录。
你可以使用星号（*）来代替其他字段，SELECT语句会返回表的所有字段数据
你可以使用 WHERE 语句来包含任何条件。
你可以通过OFFSET指定SELECT语句开始查询的数据偏移量。默认情况下偏移量为0。
你可以使用 LIMIT 属性来设定返回的记录数。

select * from student limit 2 offset 1;

偏移一条，读取两条，也就是从第二条开始读，读取两条数据

select * from student limit 3,1;

从第三条开始读，读取一条数据

where子句

使用主键来作为 WHERE 子句的条件查询是非常快速的

select * from student where register_date > "2016-03-04";

update更新

update student set age=22,name="Alex" where stu_id=3;

delete删除

delete from student where age=23 and name="Tom";

like子句

select * from student where name like "%n";

排序

select * from student order by age;         # 默认为升序
select * from student order by age desc;    # desc为降序

group by

select name,count(*) from student group by name; # 以name分组，统计每个人有多少条记录

with rollup

select name,sum(age) as singin_count from student group by name with rollup;
select coalesce(name,"age count"),sum(age) as age from student group by name with rollup;

alter

alter table student drop register_date;             # 删除student表中的register_date字段
alter table student add phone int(11) not null;     # student表添加phone字段
alter table student modify phone int(11);           # 修改student表的phone字段类型
alter table student change phone phone bigint;      # 修改student表的phone字段，新字段名称为phone类型为bigint
alter table student modify phone bigint not null default 13800000000;   # 修改student表的phone字段类型为bigint，不为null且默认值为13800000000
alter table student rename to student_test;         # 修改student表的表名为student_test

外键

CREATE TABLE `study_record` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `day` int(11) NOT NULL,
  `status` char(32) NOT NULL,
  `stu_id` int(11) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `study_record_fk` (`stu_id`),
  CONSTRAINT `study_record_fk` FOREIGN KEY (`stu_id`) REFERENCES `student` (`id`)
);

事务

MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你即需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！

在MySQL中只有使用了Innodb数据库引擎的数据库或表才支持事务
事务处理可以用来维护数据库的完整性，保证成批的SQL语句要么全部执行，要么全部不执行
事务用来管理insert,update,delete语句
一般来说，事务是必须满足4个条件（ACID）： Atomicity（原子性）、Consistency（稳定性）、Isolation（隔离性）、Durability（可靠性）

事务的原子性：一组事务，要么成功；要么撤回。
稳定性 ： 有非法数据（外键约束之类），事务撤回。
隔离性：事务独立运行。一个事务处理后的结果，影响了其他事务，那么其他事务会撤回。事务的100%隔离，需要牺牲速度。
可靠性：软、硬件崩溃后，InnoDB数据表驱动会利用日志文件重构修改。可靠性和高速度不可兼得， innodb_flush_log_at_trx_commit选项 决定什么时候吧事务保存到日志里。

begin;
insert into a (a) values (555);
rollback;   # 有问题回滚
commit;     # 没有问题提交

索引

MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。

打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。

索引分单列索引和组合索引。单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。组合索引，即一个索包含多个列。

创建索引时，你需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。

实际上，索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录。

上面都在说使用索引的好处，但过多的使用索引将会造成滥用。因此索引也会有它的缺点：虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件。建立索引会占用磁盘空间的索引文件。

普通索引

创建索引

这是最基本的索引，它没有任何限制。它有以下几种创建方式：

CREATE INDEX indexName ON mytable(username(length));

如果是CHAR，VARCHAR类型，length可以小于字段实际长度；如果是BLOB和TEXT类型，必须指定 length。

修改表结构

ALTER mytable ADD INDEX [indexName] ON (username(length));

创建表的时候直接指定

CREATE TABLE mytable(
ID INT NOT NULL,
username VARCHAR(16) NOT NULL,
INDEX [indexName] (username(length))
);

删除索引的语法

DROP INDEX [indexName] ON mytable;

唯一索引

它与前面的普通索引类似，不同的就是：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。它有以下几种创建方式：

创建索引

CREATE UNIQUE INDEX indexName ON mytable(username(length));

修改表结构

ALTER mytable ADD UNIQUE [indexName] ON (username(length));

创建表的时候直接指定

CREATE TABLE mytable(
ID INT NOT NULL,
username VARCHAR(16) NOT NULL,
UNIQUE [indexName] (username(length))
);

有四种方式来添加数据表的索引

ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。
ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）。
ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。
ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。

以下实例为在表中添加索引

mysql> ALTER TABLE testalter_tbl ADD INDEX (c);
你还可以在 ALTER 命令中使用 DROP 子句来删除索引。尝试以下实例删除索引:
mysql> ALTER TABLE testalter_tbl DROP INDEX (c);

主键只能作用于一个列上，添加主键索引时，你需要确保该主键默认不为空（NOT NULL）。实例如下：
mysql> ALTER TABLE testalter_tbl MODIFY i INT NOT NULL;
mysql> ALTER TABLE testalter_tbl ADD PRIMARY KEY (i);

你也可以使用 ALTER 命令删除主键：
mysql> ALTER TABLE testalter_tbl DROP PRIMARY KEY;
删除指定时只需指定PRIMARY KEY，但在删除索引时，你必须知道索引名。

显示索引信息
SHOW INDEX FROM table_name\G

MySQL NULL 值处理

我们已经知道MySQL使用 SQL SELECT 命令及 WHERE 子句来读取数据表中的数据,但是当提供的查询条件字段为 NULL 时，该命令可能就无法正常工作。
为了处理这种情况，MySQL提供了三大运算符:
IS NULL: 当列的值是NULL,此运算符返回true。
IS NOT NULL: 当列的值不为NULL, 运算符返回true。
<=>: 比较操作符（不同于=运算符），当比较的的两个值为NULL时返回true。
关于 NULL 的条件比较运算是比较特殊的。你不能使用 = NULL 或 != NULL 在列中查找 NULL 值 。
在MySQL中，NULL值与任何其它值的比较（即使是NULL）永远返回false，即 NULL = NULL 返回false 。
MySQL中处理NULL使用IS NULL和IS NOT NULL运算符。

Mysql 连接（left join, right join, inner join ,full join）

我们已经学会了如果在一张表中读取数据，这是相对简单的，但是在真正的应用中经常需要从多个数据表中读取数据。

本章节我们将向大家介绍如何使用 MySQL 的 JOIN 在两个或多个表中查询数据。

你可以在SELECT, UPDATE 和 DELETE 语句中使用 Mysql 的 JOIN 来联合多表查询。

JOIN 按照功能大致分为如下三类：

INNER JOIN（内连接,或等值连接）：获取两个表中字段匹配关系的记录。
LEFT JOIN（左连接）：获取左表所有记录，即使右表没有对应匹配的记录。
RIGHT JOIN（右连接）： 与 LEFT JOIN 相反，用于获取右表所有记录，即使左表没有对应匹配的记录。

交集

select * from a inner join b on a.a = b.b;
select a.*,b.*  from a,b where a.a = b.b;

差集

select * from a left join b on a.a = b.b;
select * from a right join b on a.a = b.b;

并集，mysql不支持full join

select * from a full join b on a.a = b.b;
select * from a left join b on a.a = b.b UNION select * from a right join b on a.a = b.b;

Python与mysql交互

3.0以上MySQLdb不能用了，这里使用pymysql模块连接mysql数据库 

执行sql

import pymysql

# 创建连接
conn = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="", db="learn_python")
# 创建游标
cursor = conn.cursor()
# 执行SQL，并返回收影响行数
effect_row = cursor.execute("update hosts set host = ‘1.1.1.2‘")
# 执行SQL，并返回受影响行数
# effect_row = cursor.execute("update hosts set host = ‘1.1.1.2‘ where nid > %s", (1,))
# 执行SQL，并返回受影响行数
# effect_row = cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)])
# 提交，不然无法保存新建或者修改的数据
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()

获取自增ID

import pymysql

# 创建连接
conn = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="", db="learn_python")
# 创建游标
cursor = conn.cursor()
cursor.executemany("insert into student (name,age,phone) values (%s,%s,%s)", [("Jack", 34, 1), ("Ann", 25, 2)])
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()
new_id = cursor.lastrowid
print(new_id)

获取查询数据

import pymysql

# 创建连接
conn = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="", db="learn_python")
# 创建游标
cursor = conn.cursor()
cursor.execute("select * from student")
# 查询第一条数据,(1, ‘JiaChen‘, 28, 15210942688)
row_1 = cursor.fetchone()
print(row_1)
# 查询前n条数据,((2, ‘LiuJing‘, 27, 0), (3, ‘Alex‘, 22, 0), (5, ‘Tom‘, 23, 1371839532))
row_2 = cursor.fetchmany(3)
print(row_2)
# 查询所有数据,((1, ‘JiaChen‘, 28, 15210942688), (2, ‘LiuJing‘, 27, 0), (3, ‘Alex‘, 22, 0), (5, ‘Tom‘, 23, 1371839532), (6, ‘Jack‘, 34, 1), (7, ‘Ann‘, 25, 2))
row_3 = cursor.fetchall()
print(row_3)
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()

注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：

cursor.scroll(1,mode=‘relative‘)  # 相对当前位置移动

cursor.scroll(2,mode=‘absolute‘) # 相对绝对位置移动

fetch数据类型

关于默认获取的数据是元祖类型，如果想要或者字典类型的数据，即

import pymysql

# 创建连接
conn = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="", db="learn_python")
# 创建游标,设置为字典类型
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.execute("select * from student")
# {‘name‘: ‘JiaChen‘, ‘phone‘: 15210942688, ‘age‘: 28, ‘id‘: 1}
result = cursor.fetchone()
print(result)
conn.commit()
# 关闭游标
cursor.close()
# 关闭连接
conn.close()