整理20个Pandas统计函数
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了整理20个Pandas统计函数相关的知识，希望对你有一定的参考价值。
参考技术A 大家好，最近整理了pandas中20个常用统计函数和用法，建议收藏学习~为了解释每个函数的使用，模拟了一份带有空值的数据：
descirbe方法只能针对序列或数据框，一维数组是没有这个方法的；同时默认只能针对数值型的数据进行统计：
返回的信息包含：
添加了参数后的情况，我们发现：
返回的是每个字段中非空值的数量
In [5]:
Out[5]:
In [6]:
在这里我们发现：如果字段是object类型的，sum函数的结果就是直接将全部取值拼接起来
Out[6]:
In [7]:
针对字符串的最值（最大值或者最小值），是根据字母的ASCII码大小来进行比较的：
Out[7]:
和max函数的求解是类似的：
In [8]:
Out[8]:
返回指定位置的分位数
In [9]:
Out[9]:
In [10]:
Out[10]:
In [11]:
Out[11]:
通过箱型图可以展示一组数据的25%、50%、75%的中位数：
In [12]:
箱型图的具体展示信息：
一组数据的平均值
In [13]:
Out[13]:
通过下面的例子我们发现：如果字段中存在缺失值（math存在缺失值），此时样本的个数会自动忽略缺失值的总数
In [14]:
Out[14]:
比如：1,2,3,4,5 的中位数就是3
再比如：1,2,3,4,5,6 的中位数就是 3+4 = 3.5
In [15]:
Out[15]:
一组数据中出现次数最多的数
In [16]:
Out[16]:
idxmax() 返回的是最大值得索引
In [17]:
Out[17]:
In [18]:
Out[18]:
不能字符类型的字段使用该函数，Pandas不支持：
In [19]:
返回最小值所在的索引
In [20]:
Out[20]:
In [21]:
Out[21]:
In [22]:
不能字符类型的字段使用该函数，Pandas不支持：
计算一组数据的方差，需要注意的是：numpy中的方差叫总体方差，pandas中的方差叫样本方差
标准差（或方差）分为 总体标准差（方差）和 样本标准差（方差）
In [23]:
Out[23]:
In [24]:
Out[24]:
In [25]:
Out[25]:
In [26]:
Out[26]:
In [27]:
Out[27]:
返回的是一组数据的标准差
In [28]:
Out[28]:
In [29]:
Out[29]:
In [30]:
Out[30]:
In [31]:
Out[31]:
如何理解pandas和numpy两种方法对方差的求解不同：
In [32]:
Out[32]:
以字段age为例：
In [33]:
Out[33]:
In [34]:
Out[34]:
In [35]:
Out[35]:
In [36]:
Out[36]:
偏度（skewness），是统计数据分布偏斜方向和程度的度量，是统计数据分布非对称程度的数字特征。
偏度(Skewness)亦称偏态、偏态系数，表征概率分布密度曲线相对于平均值不对称程度的特征数。
直观看来就是密度函数曲线尾部的相对长度。定义上偏度是样本的三阶标准化矩：
In [37]:
Out[37]:
In [38]:
Out[38]:
返回的是峰度值
In [39]:
Out[39]:
In [40]:
Out[40]:
In [41]:
Out[41]:
返回数据的绝对值：
In [45]:
Out[45]:
如果存在缺失值，绝对值函数求解后仍是NaN：
In [46]:
Out[46]:
绝对值函数是针对数值型的字段，不能对字符类型的字段求绝对值：
In [47]:
In [48]:
Out[48]:
In [49]:
Out[49]:
In [50]:
Out[50]:
In [51]:
In [52]:
Out[52]:
In [53]:
Out[53]:
In [54]:
最后再总结下Pandas中常用来描述统计信息的函数：
深度盘点：整理100个 Pandas 常用函数
大家好，Pandas 是 Python 中最频繁、最受欢迎使用的模块之一，本文我将对 pandas 常用操作进行总结。
内容主要涉及：读取数据和保存数据、数据详情信息、数据处理、数据切片、筛选、排序、分组、统计、表格样式等几部分内容，喜欢本文记得收藏、关注、点赞。
1. 导入模块
import pandas as pd
import numpy as np
2. 读取数据和保存数据
2.1 从CSV文件读取数据,编码’gbk’
2.2 读取前6行,当数据量比较大时，可以只读取前n行
2.3 第一列作为行索引,忽略列索引
2.4 读取时忽略第1/3/5行和最后两行
2.5 从限定分隔符（‘,’）的文件或文本读取数据
2.6 保存数据
# 2.1 从CSV文件读取数据,编码'gbk'
pd.read_csv(filename, encoding='gbk')
# 2.2 读取前6行,当数据量比较大时，可以只读取前n行
pd.read_csv(filename, encoding='gbk', nrows = 6)
# 2.3 第一列作为行索引,忽略列索引
pd.read_csv(filename, encoding='gbk', header=None, index_col=0)
# 2.4 读取时忽略第1/3/5行和最后两行
pd.read_csv(filename, encoding='gbk', skiprows=[1,3,5], skipfooter=2, engine='python')
# 2.5 从限定分隔符（','）的文件或文本读取数据
pd.read_table(filename, sep=',', encoding='gbk')
# 2.6 保存数据
# 保存为csv文件
df.to_csv('test_ison.csv')
# 保存为xlsx文件
df.to_excel('test_xlsx.xlsx',index=False)
# 保存为ison文件
df.to_json('test_json.txt')
3. 查看数据信息
3.1 查看前n行
3.2 查看后n行
3.3 查看行数和列数
3.4 查看列索引
3.5 查看行索引
3.6 查看索引、数据类型和内存信息
3.7 查看数值型列的汇总统计
3.8 查看每一列的唯一值和计数
# 3.1 查看前n行
df.head(3)
# 3.2 查看后n行
df.tail(3)
# 3.3 查看行数和列数
df.shape
# 3.4查看列索引
df.columns
# 3.5 查看行索引
df.index
# 3.6 查看索引、数据类型和内存信息
df.info()
# 3.7 查看数值型列的汇总统计
df.describe()
# 3.8 查看每一列的唯一值和计数
df.apply(pd.Series.value_counts)
4. 数据处理
4.1 重命名列名
4.2 选择性更改列名
4.3 批量更改索引
4.4 批量更改列名
4.5 设置姓名列为行索引
4.6 检查哪些列包含缺失值
4.7 统计各列空值
4.8 删除本列中空值的行
4.9 仅保留本列中是空值的行
4.10 去掉某行
4.11 去掉某列
4.12 删除所有包含空值的行
4.13 删除行里全都是空值的行
4.14 删除所有包含空值的列
4.15 保留至少有6个非空值的行
4.16 保留至少有11个非空值的列
4.17 行数据向下填充
4.18 列数据向右填充
4.19 用0替换所有的空值
4.20 强制转换数据类型
4.21 查看有多少不同的城市
4.22 单值替换
4.23 多值替换
4.24 多值替换单值
4.25 替换某列，显示需要加inplace=True
4.26 拆分某列,生成新的Dataframe
4.27 某一列类型转换，注意该列类型要一致，包括（NaN）
# 4.1 重命名列名
df.columns = ['姓名','性别','语文','数学','英语','城市','省份']
# 4.2 选择性更改列名
df.rename(columns='姓名': '姓--名','性别': '性--别',inplace=True)
# 4.3 批量更改索引
df.rename(lambda x: x + 10)
# 4.4 批量更改列名
df.rename(columns=lambda x: x + '_1')
# 4.5 设置姓名列为行索引
df.set_index('姓名')
# 4.6 检查哪些列包含缺失值
df.isnull().any()
# 4.7 统计各列空值
df.isnull().sum()
# 4.8 删除本列中空值的行
df[df['数学'].notnull()]
df[~df['数学'].isnull()]
# 4.9 仅保留本列中是空值的行
df[df['数学'].isnull()]
df[~df['数学'].notnull()]
# 4.10 去掉某行
df.drop(0, axis=0)
# 4.11 去掉某列
df.drop('英语', axis=1)
# 4.12 删除所有包含空值的行
df.dropna()
# 4.13 删除行里全都是空值的行
df.dropna(how = 'all')
# 4.14 删除所有包含空值的列
df.dropna(axis=1)
# 4.15 保留至少有6个非空值的行
df.dropna(thresh=6)
# 4.16 保留至少有11个非空值的列
df.dropna(axis=1,thresh=11)
# 4.17 行数据向下填充
df.fillna(method = 'ffill')
# 4.18 列数据向右填充
df.fillna(method = 'ffill',axis=1)
# 4.19 用0替换所有的空值
df.fillna(0)
# 4.20 强制转换数据类型
df_t1 = df.dropna()
df_t1['语文'].astype('int')
# 4.21 查看有多少不同的城市
df['城市'].unique()
# 4.22 单值替换
df.replace('苏州', '南京')
# 4.23 多值替换
df.replace('苏州':'南京','广州':'深圳')
df.replace(['苏州','广州'],['南京','深圳'])
# 4.24 多值替换单值
df.replace(['深圳','广州'],'东莞')
# 4.25 替换某列，显示需要加inplace=True
df['城市'] = df['城市'].replace('苏州', '南京')
# 4.26 拆分某列,生成新的Dataframe
df1 = df['姓名'].str.split('-',expand=True)
df1.columns = ['学号','姓名']
# 4.27 某一列类型转换，注意该列类型要一致，包括（NaN）
df1.dropna(inplace = True)
df1['语文'] = df1['语文'].apply(int)
5. 数据切片、筛选
5.1 输出城市为上海
5.2 输出城市为上海或广州
5.3 输出城市名称中含有‘海’字的行
5.4 输出城市名称以‘海’字开头的行
5.5 输出城市名称以‘海’字结尾的行
5.6 输出所有姓名，缺失值用Null填充
5.7 重置索引
5.8 前两行
5.9 后两行
5.10 2-8行
5.11 每隔3行读取
5.12 2-8行,步长为2，即第2/4/6行
5.13 选取’语文’,‘数学’,'英语’列
5.14 学号为’001’的行，所有列
5.15 学号为’001’或’003’的行，所有列
5.16 学号为’001’至’009’的行，所有列
5.17 列索引为’姓名’，所有行
5.18 列索引为’姓名’至‘城市’，所有行
5.19 语文成绩大于80的行
5.20 语文成绩大于80的人的学号和姓名
5.21 输出’赵四’和’周七’的各科成绩
5.22 选取第2行
5.23 选取前3行
5.24 选取第2行、第4行、第6行
5.25 选取第2列
5.26 选取前3列
5.27 选取第3行的第3列
5.28 选取第1列、第3列和第4列
5.29 选取第2行的第1列、第3列、第4列
5.30 选取前3行的前3列
# 5.1 输出城市为上海
df[df['城市']=='上海']
# 5.2 输出城市为上海或广州
df[df['城市'].isin(['上海','广州'])]
# 5.3 输出城市名称中含有‘海’字的行
df[df['城市'].str.contains("海", na=False)]
# 5.4 输出城市名称以‘海’字开头的行
df[df['城市'].str.startswith("海", na=False)]
# 5.5 输出城市名称以‘海’字结尾的行
df[df['城市'].str.endswith("海", na=False)]
# 5.6 输出所有姓名，缺失值用Null填充
df['姓名'].str.cat(sep='、',na_rep='Null')
# 5.7 重置索引
df2 = df1.set_index('学号')
# 5.8 前两行
df2[:2]
# 5.9 后两行
df2[-2:]
# 5.10 2-8行
df2[2:8]
# 5.11 每隔3行读取
df2[::3]
# 5.12 2-8行,步长为2，即第2/4/6行
df2[2:8:2]
# 5.13 选取'语文','数学','英语'列
df2[['语文','数学','英语']]
# df.loc[]只能使用标签索引，不能使用整数索引，通过便签索引切边进行筛选时，前闭后闭
# 5.14 学号为'001'的行，所有列
df2.loc['001', :]
# 5.15 学号为'001'或'003'的行，所有列
df2.loc[['001','003'], :]
# 5.16 学号为'001'至'009'的行，所有列
df2.loc['001':'009', :]
# 5.17 列索引为'姓名'，所有行
df2.loc[:, '姓名']
# 5.18 列索引为'姓名'至‘城市’，所有行
df2.loc[:, '姓名':'城市']
# 5.19 语文成绩大于80的行
df2.loc[df2['语文']>80,:]
df2.loc[df2.loc[:,'语文']>80, :]
df2.loc[lambda df2:df2['语文'] > 80, :]
# 5.20 语文成绩大于80的人的学号和姓名
df2.loc[df2['语文']>80,['姓名','城市']]
# 5.21 输出'赵四'和'周七'的各科成绩
df2.loc[df2['姓名'].isin(['赵四','周七']),['姓名','语文','数学','英语']]
# # df.iloc[]只能使用整数索引，不能使用标签索引，通过整数索引切边进行筛选时，前闭后开
# 5.22 选取第2行
df2.iloc[1, :]
# 5.23 选取前3行
df2.iloc[:3, :]
# 5.24 选取第2行、第4行、第6行
df2.iloc[[1,3,5],:]
# 5.25 选取第2列
df2.iloc[:, 1]
# 5.26 选取前3列
df2.iloc[:, 0:3]
# 5.27 选取第3行的第3列
df2.iloc[3, 3]
# 5.28 选取第1列、第3列和第4列
df2.iloc[:, [0,2,3]]
# 5.29 选取第2行的第1列、第3列、第4列
df2.iloc[1, [0,2,3]]
# 5.30 选取前3行的前3列
df2.iloc[:3, :3]
6. 数据排序
6.1 重置索引
6.2 按照语文成绩升序排序，默认升序排列
6.3 按照数学成绩降序排序
6.4 先按语文成绩升序排列，再按数学成绩降序排列
6.5 语文成绩80及以上
6.6 语文成绩80及以上以及数学成绩90分及以上
6.7 语文成绩80及以上或数学成绩90分及以上
6.8 输出成绩100的行和列号
6.9 增加一列“省份-城市”
6.10 增加一列总分
6.11 按照总分、语文、数学、英语成绩依次排序
6.12 新增一列表示学生语文成绩等级的列（优秀、良好、中等、不及格）
# 6.1 重置索引
df_last = df1.reset_index(drop=True)
# 6.2 按照语文成绩升序排序，默认升序排列
df_last.sort_values('语文')
# 6.3 按照数学成绩降序排序
df_last.sort_values('数学', ascending=False)
# 6.4 先按语文成绩升序排列，再按数学成绩降序排列
df_last.sort_values(['语文','数学'], ascending=[True,False])
# 6.5 语文成绩80及以上
df_last[df_last['语文']>=80]
df_last.query('语文 > 80')
# 6.6 语文成绩80及以上以及数学成绩90分及以上
df_last[(df_last['语文']>=80) & (df_last['数学']>=90)]
# 6.7 语文成绩80及以上或数学成绩90分及以上
df_last[(df_last['语文']>=80) | (df_last['数学']>=90)]
# 6.8 输出成绩100的行和列号
row, col = np.where(df_last.values == 100)
# 6.9 增加一列“省份-城市”
df_last['省份-城市'] = df_last['省份'] + '-' + df_last['城市']
# 6.10 增加一列总分
df_last['总分'] = df_last[['语文','数学','英语']].sum(axis = 1)
# 6.11 按照总分、语文、数学、英语成绩依次排序
df_last.sort_values(by =['总分','语文','数学','英语'],ascending=False )
# 6.12 新增一列表示学生语文成绩等级的列（优秀、良好、中等、不及格）
def get_letter_grade(score):
'''
定义一个函数，根据分数返回相应的等级
'''
if score>=90:
return '优秀'
elif score>=80:
return '良好'
elif score>=60:
return '中等'
else:
return '不及格'
df_last['语文等级'] = df_last['语文'].apply(lambda score: get_letter_grade(score))
7. 数据分组
7.1 一列分组
7.2 多列分组
7.3 每组的统计数据（横向显示）
7.4 每组的统计数据（纵向显示）
7.5 查看指定列的统计信息
7.6 分组大小
7.7 分组成绩最大值
7.8 分组成绩最小值
7.9 分组成绩总和
7.10 分组平均成绩
7.11 按省份分组，计算英语成绩总分和平均分
7.12 按省份、城市分组计算平均成绩
7.13 不同列不同的计算方法
7.14 性别分别替换为1/0
7.15 增加一列按省份分组的语文平均分
7.16 输出语文成绩最高的男生和女生（groupby默认会去掉空值）
7.17 按列省份、城市进行分组，计算语文、数学、英语成绩最大值的透视表
# 7.1 一列分组
df2.groupby('省份').groups
# 7.2 多列分组
df2.groupby(['省份','城市']).groups
# 7.3 每组的统计数据（横向显示）
df2.groupby('省份').describe()
# 7.4 每组的统计数据（纵向显示）
df2.groupby('省份').describe().unstack()
# 7.5 查看指定列的统计信息
df2.groupby('省份').describe()['语文']
# 7.6 分组大小
df2.groupby('省份').count()
df2.groupby('省份').agg(np.size)
# 7.7 分组成绩最大值
df2.groupby('省份').max()
df2.groupby('省份').agg(np.max)
# 7.8 分组成绩最小值
df2.groupby('省份').min()
df2.groupby('省份').agg(np.min)
# 7.9 分组成绩总和
df2.groupby('省份').sum()
df2.groupby('省份').agg(np.sum)
# 7.10 分组平均成绩
df2.groupby('省份').mean()
df2.groupby('省份').agg(np.mean)
# 7.11 按省份分组，计算英语成绩总分和平均分
df2.groupby('省份')['英语'].agg([np.sum, np.mean])
# 7.12 按省份、城市分组计算平均成绩
df2.groupby(['省份','城市']).agg(np.mean)
# 7.13 不同列不同的计算方法
df2.groupby('省份').agg('语文': sum, # 总和
'数学': 'count', # 总数
'英语':'mean') # 平均
# 7.14 性别分别替换为1/0
df2 = df2.dropna()
df2['性别'] = df2['性别'].map('男':1, '女':0)
# 7.15 增加一列按省份分组的语文平均分
df2['语文平均分'] = df2.groupby('省份')['语文'].transform('mean')
# 7.16 输出语文成绩最高的男生和女生（groupby默认会去掉空值）
def get_max(g):
df = g.sort_values('语文',ascending=True)
print(df)
return df.iloc[-1,:]
df2.groupby('性别').apply(get_max)
# 7.17 按列省份、城市进行分组，计算语文、数学、英语成绩最大值的透视表
df.pivot_table(index=['省份','城市'], values=['语文','数学','英语'], aggfunc=max)
8. 数据统计
8.1 数据汇总统计
8.2 列中非空值的个数
8.3 列最小值
8.4 列最大值
8.5 列均值
8.6 列中位数
8.7 列与列之间的相关系数
8.8 列的标准差
8.9 语文成绩指标
8.10 三个科目的指标
# 8.1 数据汇总统计
df.describe()
# 8.2 列中非空值的个数
df.count()
# 8.3 列最小值
df.min()
# 8.4 列最大值
df.max()
# 8.5 列均值
df.mean()
# 8.6 列中位数
df.median()
# 8.7 列与列之间的相关系数
df.corr()
# 8.8 列的标准差
df.std()
# 8.9 语文成绩指标
# 对语文列求和
sum0 = df_last['语文'].sum()
# 语文成绩方差
var = df_last['语文'].var()
# 语文成绩标准差
std = df_last['语文'].std()
# 语文平均分
mean = df_last['语文'].mean()
print('语文总分:',sum0)
print以上是关于整理20个Pandas统计函数的主要内容，如果未能解决你的问题，请参考以下文章