Pandas & SQL 语法归纳总结,真的太全了

Posted AI科技大本营

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pandas & SQL 语法归纳总结,真的太全了相关的知识,希望对你有一定的参考价值。


作者 | 俊欣

来源 | 关于数据分析与可视化

对于数据分析师而言,PandasSQL可能是大家用的比较多的两个工具,两者都可以对数据集进行深度的分析,挖掘出有价值的信息,但是二者的语法有着诸多的不同,今天小编就来总结归纳一下PandasSQL这两者之间在语法上到底有哪些不同。

导入数据

对于Pandas而言,我们需要提前导入数据集,然后再进行进一步的分析与挖掘

import pandas as pd

airports = pd.read_csv('data/airports.csv')
airport_freq = pd.read_csv('data/airport-frequencies.csv')
runways = pd.read_csv('data/runways.csv')

基础语法

SQL当中,我们用SELECT来查找数据,WHERE来过滤数据,DISTINCT来去重,LIMIT来限制输出结果的数量,

输出数据集

## SQL
select * from airports

## Pandas
airports

输出数据集的前三行数据,代码如下

## SQL
select * from airports limit 3

## Pandas
airports.head(3)

对数据集进行过滤筛查

## SQL
select id from airports where ident = 'KLAX'

## Pandas
airports[airports.ident == 'KLAX'].id

对于筛选出来的数据进行去重

## SQL
select distinct type from airport

## Pandas
airports.type.unique()

多个条件交集来筛选数据

多个条件的交集来筛选数据,代码如下

## SQL
select * from airports 
where iso_region = 'US-CA' and 
type = 'seaplane_base'

## Pandas
airports[(airports.iso_region == 'US-CA') & 
(airports.type == 'seaplane_base')]

或者是

## SQL
select ident, name, municipality from airports 
where iso_region = 'US-CA' and
type = 'large_airport'

## Pandas
airports[(airports.iso_region == 'US-CA') &
(airports.type == 'large_airport')][['ident', 'name', 'municipality']]

排序

Pandas当中默认是对数据进行升序排序,要是我们希望对数据进行降序排序,需要设定ascending参数

## SQL
select * from airport_freq
where airport_ident = 'KLAX'
order by type

## Pandas
airport_freq[airport_freq.airport_ident == 'KLAX']
.sort_values('type')

又或者是

## SQL
select * from airport_freq
where airport_ident = 'KLAX'
order by type desc

## Pandas
airport_freq[airport_freq.airport_ident == 'KLAX']
.sort_values('type', ascending=False)

筛选出列表当中的数据

要是我们需要筛选出来的数据在一个列表当中,这里就需要用到isin()方法,代码如下

## SQL
select * from airports 
where type in ('heliport', 'balloonport')

## Pandas
airports[airports.type.isin(['heliport', 'balloonport'])]

又或者是

## SQL
select * from airports 
where type not in ('heliport', 'balloonport')

## Pandas
airports[~airports.type.isin(['heliport', 'balloonport'])]

删除数据

Pandas当中删除数据用的是drop()方法,代码如下

## SQL
delete from dataframe where col_name = 'MISC'

## Pandas
df = df[df.type != 'MISC']
df.drop(df[df.type == 'MISC'].index)

更新数据

SQL当中更新数据使用的是updateset方法,代码如下

### SQL
update airports set home_link = '......'
where ident == 'KLAX'

### Pandas
airports.loc[airports['ident'] == 'KLAX', 'home_link'] = '......'

调用统计函数

对于给定的数据集,如下图所示

runways.head()

output

我们调用min()max()mean()以及median()函数作用于length_ft这一列上面,代码如下

## SQL
select max(length_ft), min(length_ft),
avg(length_ft), median(length_ft) from runways

## Pandas
runways.agg('length_ft': ['min', 'max', 'mean', 'median'])

合并两表格

Pandas当中合并表格用的是pd.concat()方法,在SQL当中则是UNION ALL,代码如下

## SQL
select name, municipality from airports
where ident = 'KLAX'
union all
select name, municipality from airports
where ident = 'KLGB'

## Pandas
pd.concat([airports[airports.ident == 'KLAX'][['name', 'municipality']],
airports[airports.ident == 'KLGB'][['name', 'municipality']]])

分组

顾名思义也就是groupby()方法,代码如下

## SQL
select iso_country, type, count(*) from airports
group by iso_country, type
order by iso_country, type

## Pandas
airports.groupby(['iso_country', 'type']).size()

分组之后再做筛选

Pandas当中是在进行了groupby()之后调用filter()方法,而在SQL当中则是调用HAVING方法,代码如下

## SQL
select type, count(*) from airports
where iso_country = 'US'
group by type
having count(*) > 1000
order by count(*) desc

## Pandas
airports[airports.iso_country == 'US']
.groupby('type')
.filter(lambda g: len(g) > 1000)
.groupby('type')
.size()
.sort_values(ascending=False)

TOP N records

代码如下

## SQL 
select 列名 from 表名
order by size
desc limit 10

## Pandas
表名.nlargest(10, columns='列名')

技术

Python多层级索引的数据分析

资讯

红帽、Docker、SUSE在俄停服

技术

用Python实现自动扫雷!

技术

一行Python代码能干嘛?来看!

分享

点收藏

点点赞

点在看

以上是关于Pandas & SQL 语法归纳总结,真的太全了的主要内容,如果未能解决你的问题,请参考以下文章

九年级英语语法知识点整理归纳

Python常见数据归纳总结

linux设备驱动归纳总结:1.udev&misc

SQL基础知识归纳总结

初中英语语法总结

Python数据分析pandas真入门-----基础学习