python3入门教程操作数据库一

Posted 厨房小码农

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3入门教程操作数据库一相关的知识,希望对你有一定的参考价值。

概述

  最近在准备写一个爬虫的练手项目,基本想法是把某新闻网站的内容分类爬取下来,保存至数据库,再通过接口对外输出(提供后台查询接口)。那么问题就来了,python到底是怎么去操作数据库的呢?我们今天就来研究下。

 

准备

我这边数据库使用的是mysql5.7,python去操作mysql数据库需要使用到pymysql模块。

安装pymysql很简单,可以使用pip,

pip install pymysql

 

也可以通过pycharm直接添加安装。

 

使用操作

我们新建一个数据库,名字就叫做news,我们再创建一张news表(取名字这种事情真的非常纠结),语句如下:

 

CREATE TABLE `news` (
  `id` bigint(100) NOT NULL AUTO_INCREMENT,
  `title` varchar(1000) DEFAULT NULL,
  `url` varchar(1000) DEFAULT NULL,
  `hash` varchar(1000) DEFAULT NULL,
  `publish_time` varchar(15) DEFAULT NULL,
  `catagary` varchar(1) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

 

这张表设计的有些随意,不过这不是重点,重点是我们如何利用python去操作这张表,下面我们就进入主题。

首先,我们新建python file,然后导入我们要用到的模块

import pymysql

1.获取数据库连接及游标

之前有用过数据库的同学肯定知道,用代码去操作数据库之前,肯定先要获取连接,后续的增删改查都是基于这个连接,当然,相应的操作完成之后,一定要记得把连接关闭,不然会造成一些不好的后果。

python获取数据库连接代码如下:

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)

 

运行之后输出:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x000001D359180B00>

Process finished with exit code 0

显然,我们已经成功获取到了一个连接,当然要执行sql语句,我们好需要获取一个游标对象,

import pymysql
# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn) 
# 获取操作sql的游标对象(这样写默认返回的数据类型是元组,我们下面会有介绍
cursor = conn.cursor()

print(cursor)

运行之后输出:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x0000025F14470B70>
<pymysql.cursors.Cursor object at 0x0000025F14AC8E10>

Process finished with exit code 0

游标对象已经成功拿到了

2.新增数据

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor()
print(cursor)
# 新增一条数据
insert_sql = \'insert into news(title, url, hash, publish_time, catagary) values(%s, %s, %s, %s, %s)\'
row = cursor.execute(insert_sql, (\'百度\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\')) # 参数为元组类型
print(row)
print(cursor.lastrowid) # 获取最后一次自增的ID

执行上面的代码,输出结果如下:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x0000023455416358>
<pymysql.cursors.Cursor object at 0x00000234559F8E10>
1
2

Process finished with exit code 0

 从输出结果可以看出,似乎已经插入成功了,我们取数据库看一下,结果是令人失望的,数据库没有,什么情况呢?

原因其实很简单,我们没有做commit操作,我们把commit加上,再试下

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor()
print(cursor)

# 新增一条数据
insert_sql = \'insert into news(title, url, hash, publish_time, catagary) values(%s, %s, %s, %s, %s)\'  # 使用pymysql的参数化语句防止SQL注入
# 返回受影响的行数
row = cursor.execute(insert_sql, (\'百度\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\'))  # 参数为元组类型
print(row)
print(cursor.lastrowid)  # 获取最后一次自增的ID

conn.commit()  # 提交数据
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

下面我们再运行下,输出如下:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x000001D60F605630>
<pymysql.cursors.Cursor object at 0x000001D60FD88E80>
1
3

Process finished with exit code 0 

我们查一下数据库,这下就有了,插入成功了。

 

当然也可以批量插入,使用executemany

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor()
print(cursor)

# 新增一条数据
insert_sql = \'insert into news(title, url, hash, publish_time, catagary) values(%s, %s, %s, %s, %s)\'  # 使用pymysql的参数化语句防止SQL注入
# 返回受影响的行数
#row = cursor.execute(insert_sql, (\'百度\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\'))  # 参数为元组类型
#print(row)
#print(cursor.lastrowid)  # 获取最后一次自增的ID

# 新增多条数据
row = cursor.executemany(insert_sql, [(\'百度1\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\'),
                                      (\'百度2\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\'),
                                      (\'百度3\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\')])

print(row)

conn.commit()  # 提交数据
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

执行上面的脚本,输出结果如下:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x000001A454EF5630>
<pymysql.cursors.Cursor object at 0x000001A455678E48>
3
Process finished with exit code 0

查询数据库,如下:

批量插入成功。

3.查询数据

 前面插入数据成功了,我们研究下怎么查询

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor()
print(cursor)

query_sql = \'select * from news where id = %s\'
row = cursor.execute(query_sql, (3,))
print(row)  # 查询到的行数
print(cursor.fetchall())  # fetchall:获取所有行的信息 fetchone:获取结果集中第一行的数据 fetchmany:获取结果集中的多行


conn.commit()  # 提交数据
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

执行上面的查询,输出:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x000001C5D9107320>
<pymysql.cursors.Cursor object at 0x000001C5D9748EF0>
1
((3, \'百度\', \'http://www.baidu.com\', \'1qaz2wsx\', \'2018-11-02\', \'0\'),)

Process finished with exit code 0

从输出结果我们可以看到,最后拿到的结果集是一个元组类型,那假如我们想要的是字典类型呢?

我们只需要在初始化游标的时候,稍微设置一下 

 

cursor = conn.cursor(pymysql.cursors.DictCursor)

 

我们加上再试下,

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor(pymysql.cursors.DictCursor)
print(cursor)

query_sql = \'select * from news where id = %s\'
row = cursor.execute(query_sql, (3,))
print(row)  # 查询到的行数
print(cursor.fetchall())  # fetchall:获取所有行的信息 fetchone:获取结果集中第一行的数据 fetchmany:获取结果集中的多行


conn.commit()  # 提交数据
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

运行之后输出:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x000002A433136358>
<pymysql.cursors.DictCursor object at 0x000002A433778E48>
1
[{\'id\': 3, \'title\': \'百度\', \'url\': \'http://www.baidu.com\', \'hash\': \'1qaz2wsx\', \'publish_time\': \'2018-11-02\', \'catagary\': \'0\'}]

Process finished with exit code 0

 

可以看到,结果集的数据类型变了,这样比较方面去处理具体的数据内容。

4.更新数据

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor(pymysql.cursors.DictCursor)
print(cursor)

update_sql = \'update news set title = %s where id = %s\'
row_upd = cursor.execute(update_sql, (\'百度Updata\', 3)) # 也可使用executemany实现批量更新
print(row_upd)

query_sql = \'select * from news where id = %s\'
row = cursor.execute(query_sql, (3,))
print(row)  # 查询到的行数
print(cursor.fetchall())  # fetchall:获取所有行的信息 fetchone:获取结果集中第一行的数据 fetchmany:获取结果集中的多行


conn.commit()  # 提交数据
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

 我们更新id=3的那条数据的标题,运行上面的代码,输出:

E:\\pythonsource\\venv\\Scripts\\python.exe E:/pythonsource/study/pymysqldemo.py
<pymysql.connections.Connection object at 0x000001FCDBB36390>
<pymysql.cursors.DictCursor object at 0x000001FCDC158EB8>
1
1
[{\'id\': 3, \'title\': \'百度Updata\', \'url\': \'http://www.baidu.com\', \'hash\': \'1qaz2wsx\', \'publish_time\': \'2018-11-02\', \'catagary\': \'0\'}]

Process finished with exit code 0

更新成功。

5.删除数据

 删除数据其实更上面的更新差不多,只是sql不一样。

import pymysql

# 获取连接 参数(数据库IP,端口,用户名,密码,数据库名称,编码格式)
conn = pymysql.connect(host=\'127.0.0.1\', port=3306,user=\'root\', passwd=\'123456\', db=\'news\', charset=\'utf8\')
print(conn)
# 获取操作sql的游标对象
cursor = conn.cursor(pymysql.cursors.DictCursor)
print(cursor)

delete_sql = \'delete from news where id=%s\'
row_delete = cursor.execute(delete_sql, (3,)) # 也可以使用executemany实现批量删除

query_sql = \'select * from news where id = %s\'
row = cursor.execute(query_sql, (3,))
print(row)  # 查询到的行数
print(cursor.fetchall())  # fetchall:获取所有行的信息 fetchone:获取结果集中第一行的数据 fetchmany:获取结果集中的多行


conn.commit()  # 提交数据
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

 

以上是关于python3入门教程操作数据库一的主要内容,如果未能解决你的问题,请参考以下文章

算法竞赛入门码蹄集进阶塔335题(MT3330-3335)

反射机制入门

反射机制入门

反射机制入门

学习笔记:python3,代码片段(2017)

Regex / Python3 - re.findall() - 查找操作码之间的所有匹配项