当pandas撞上了sql,于是一个强大的pandasql库产生了!

Posted 黄至尊qwe

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了当pandas撞上了sql,于是一个强大的pandasql库产生了!相关的知识,希望对你有一定的参考价值。


1. 演示数据

本文的所有演示数据,均是基于下方的四张表。下面这四张表大家应该不陌生,这就是​​网传50道经典mysql面试题​​中使用到的几张原表。关于下方各表之间的关联关系,我就不给大家说明了,仔细观察字段名,应该就可以发现。

当pandas撞上了sql,于是一个强大的pandasql库产生了!_pandasql

2. pandasql的使用

1)简介

​pandas​​​中的DataFrame是一个二维表格,数据库中的表也是一个二维表格,因此在pandas中使用​​sql语句​​​就显得水到渠成,pandasql使用SQLite作为其操作数据库,同时Python自带​​SQLite模块​​,不需要安装,便可直接使用。

​这里有一点需要注意的是​​:使用pandasql读取DataFrame中日期格式的列,默认会读取年月日、时分秒,因此我们要学会使用sqlite中的日期处理函数,方便我们转换日期格式,下方提供sqlite中常用函数大全,希望对你有帮助。

sqlite函数大全:​​http://suo.im/5DWraE​

导入相关库:

import pandas as pd
from pandasql import

2)声明全局变量的2种方式

  • ① 在使用之前,声明该全局变量;
  • ② 一次性声明好全局变量;
① 在使用之前,声明该全局变量
df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")


global df1
global df2
global df3
global df4
query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"

sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_全局变量_02

② 一次性声明好全局变量
df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")

pysqldf = lambda q: sqldf(q, globals())

query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"

sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_pandasql_03

3)写几个简单的SQL语句

① 查看sqlite的版本
student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
select sqlite_version(*)
"""
pysqldf(query1)

结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_python操作

② where筛选
student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
select *
from student
where strftime(%Y-%m-%d,sage) = 1990-01-01
"""
pysqldf(query1)

结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_sqlite_05

③ 多表连接
student = pd.read_excel("student.xlsx")
sc = pd.read_excel("sc.xlsx")


pysqldf = lambda q: sqldf(q, globals())
query2 = """
select *
from student s
join sc on s.sid = sc.sid
"""
pysqldf(query2)

部分结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_python操作

④ 分组聚合
student = pd.read_excel("student.xlsx")
sc = pd.read_excel("sc.xlsx")


pysqldf = lambda q: sqldf(q, globals())
query2 = """
select s.sname as 姓名,sum(sc.score) as 总分
from student s
join sc on s.sid = sc.sid
group by s.sname
"""
pysqldf(query2)

结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_sqlite_07

⑤ union查询
student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
select *
from student
where strftime(%Y-%m,sage) = 1990-01
union
select *
from student
where strftime(%Y-%m,sage) = 1990-12
"""
pysqldf(query1)

结果如下:

当pandas撞上了sql,于是一个强大的pandasql库产生了!_sqlite_08


以上是关于当pandas撞上了sql,于是一个强大的pandasql库产生了!的主要内容,如果未能解决你的问题,请参考以下文章

Python应用实战-从pandas的角度来对比MySQL,教你如何更快更好的学习sql

Python pands和matplotlib常用命令

Python核心面向对象

992 | 万象视频曝光!“自动驾驶”汽车撞死行人!全球首例 !

pandas优化

开车--总结