Pandas使用细则

Posted 2020-11-22 lunge-blog

本文介绍pandas的使用，总结了我在机器学习过程中常使用到的一些方法等。

#pandas学习
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
# 设置pandas显示全部行和列，特征较多时使用比较好
pd.set_option(‘display.max_columns‘,None)
# pd.set_option(‘display.max_rows‘,None)# 这个一般感觉不需要

1，创建数据

1.1 创建一个DataFrame，DataFrame为pandas的数据容器，其实就是数组加上了列名、索引名等。

# 参数data,columns,index
# 方式1
fruit_sales = pd.DataFrame([[35, 21],[41,34]], columns=[‘Apples‘, ‘Bananas‘],index=[‘2017 Sales‘,‘2018 Sales‘])
fruit_sales

# 方式2
fruit_sales2 = pd.DataFrame({‘Apples‘:[35,42],‘Bananas‘:[21,34]},index=[‘2017 Sales‘,‘2018 Sales‘])
fruit_sales2

 

 以上2种方式结果都一样：

 

 

 如果不指定index和columns，自动以数字赋值：

1.2，Series。DataFrame是表示多行多列的，其中每一行或每一列都是一个Series。

#Series，只能表示一列数据，多列还是用DataFrame
items=[‘apple‘,‘banana‘,‘orange‘]
nums=[10,12,34]
fruit2 = pd.Series(nums, index=items, name=‘fruit‘)
fruit2

结果为：

 

 

 2，读取/存储为csv文件，这里以kaggle中Titanic项目训练数据为示例。

train_data=pd.read_csv(‘train.csv‘,index_col=0)# 读取

train_data.to_csv(‘train_data.csv‘)# 存储

此方法常见参数如下：

filepath_or_buffer：文件目录地址

index_col：以哪一列作为index

skiprows：跳过开头多少行

skipfooter：跳过末尾多少行

parse_dates：解析日期，有多种输入格式，具体参考文档。建议输入list，如[1,2,3]，表示对第2,3,4列进行日期的解析

encoding：编码，如中文可用gbk等，如报编码错误请检查这个。

3，数据概览及操作

3.1 主要方法为describe，info，head，columns，index，values等

• head

train_data.head()#查看开头几行，默认5

• describe

train_data.describe()#查看描述信息，默认只对数值列起作用，你可以像第二行一样包含所有，或指定一个list的列
#train_data.describe(include=‘all‘)

 

 

 以上，有统计数量，最大最小，平均值，标准差，以及若干百分位的值（百分比可用list指定）

• info

train_data.info(verbose=True,null_counts=True)#查看各列数据类型，null值数量等

 

 

• 查看shape，类型，行，列

# 维度
train_data.shape
# size为shape 2个维度乘积
train_data.size

# DataFrame转np array
train_data.values# 即可

# 获取所有列名，行index
train_data.columns/index

# 查看所有数据类型
data.dtypes

# 一列或多列（多列时给个list）
ages=train_data.Age
ages=train_data[‘Age‘]

# 一行或多行
# 这2个相同
first_row=train_data.loc[0]
first_row=train_data.iloc[0]

# 多个行时不同
rows=train_data.iloc[1:3]# 第2,3行
rows=train_data.loc[1:3]# 第1,2,3行


# 同时筛选行和列。前面是选取的行，后面是选取的列
train_data.iloc[[1,2],[1,2]]
train_data.iloc[1:2,1:2]

3.2 复杂查询

#联合查询
a=train_data.loc[train_data.Pclass.isin([1,2]) & (train_data.Age<=30)]
#中位数
train_data.Age.median()
#平均值
train_data.Age.mean()
#查看该列包含种类（相当于set操作）
train_data.Pclass.unique()
#统计该列各个种类的数量（统计set后各元素出现的次数）
train_data.groupby(‘Pclass‘).size()# 结果按索引排序
train_data.Pclass.value_counts()# 这种方式更好，结果是按值排序的
#票价与年龄的比例，求比例最大的行号
idx=(train_data.Fare/train_data.Age).idxmax()
#查看此人是否存活
train_data.loc[idx,‘Survived‘]
# 统计指定列为NaN的行数
train_data[train_data.Embarked.isna()]
# 统计指定列某条件下的行数
(train_data[‘Age‘]<50).sum()
# 统计所有Ticket中出现PC的次数
train_data.Ticket.map(lambda ticket:‘PC‘ in ticket).sum()

3.3 数据操作

• DataFrame合并

# DataFrame合并
df1=pd.DataFrame(data={‘price‘:[6,6.5,7],‘count‘:[10,9,8]})
df2=pd.DataFrame(data={‘name‘:[‘a‘,‘b‘],‘married‘:[‘Yes‘,‘Yes‘],‘price‘:[1,2]})
# 列名不同的添加列，相同列名的合并，数据按行合并
df=pd.concat([df1,df2],sort=False)

# 以2个df中指定列进行合并，合并的列名不必相同（此时第一列的列名为空），如果相同则作为index并将index排序
df1=pd.DataFrame(data={‘price‘:[6,6.5,7],‘count‘:[10,9,8],‘sth‘:[2,3,4]})
df2=pd.DataFrame(data={‘name‘:[‘yanfang‘,‘chenlun‘],‘married‘:[‘Yes‘,‘Yes‘],‘price‘:[1,10],‘sth‘:[2,8]})

# 默认合并方式为left，即df1合并列(price，3)有多少行，结果就是多少行
# 除合并的列外，2个df不允许再出现同名的列
df=df1.set_index(‘price‘).join(df2.set_index(‘sth‘),how=‘outer‘,sort=False)
# df=df1.set_index(‘price‘).join(df2.set_index(‘price‘),how=‘outer‘,sort=False) 不允许重复列sth

• DataFrame属性修改

# 改变某列的数据类型，如将Age通过cut分段后，它的数据类型为categorical，而你想做PCA降维，那么只能转化为数值型
train_data[‘Age_bin‘]=train_data[‘Age_bin‘].astype(‘float‘)
# 重命名列
data=data.rename(columns=dict(Pclass=‘Class‘,Fare=‘Ticket_price‘))
# 重命名index
data=data.rename_axis("Id",axis=0)# 注意axis=1也可行，此时并未重命名index，而是将index作为一列，给予它一个列名

• groupby 分类（查询）

# groupby分类
df=pd.DataFrame(data=[[20,7],[10,11],[10,8],[20,12],[9,8]],columns=[‘price‘,‘points‘])
# 输出各价钱对应的最高分数
df.groupby(‘price‘)[‘points‘].max().sort_index(axis=0)#对于Series，它只有一列数据，axis必须为0
# agg：以多个函数操作的结果作为各个列
both=df.groupby(‘price‘).points.agg([min,max])
both

 

 

•  联合排序

# 多个列的排序
data=train_data.iloc[:10,4:6]
data.sort_values(by=[‘Age‘,‘SibSp‘])

• 数据修改

# map修改数据，apply是另一个修改方法
train_datan[‘Ticket‘]=train_data.Ticket.map(lambda ticket:‘PC‘ in ticket)# 变为布尔类型

# 增加列：将Age按年龄段分类，此时该列的数据类型为categorical
train_data[‘Age_bin‘]=pd.cut(train_data[‘Age‘],bins=[0,25,40,55,95],labels=[1,2,3,4])
# get_dummies对类别型的列做one-hot处理，之后我们就可以如下查看相关系数了
data_show=pd.get_dummies(train_data,columns=[‘Age_bin‘])
sns.heatmap(data_show.corr(),annot=True,cmap=‘RdYlGn‘,linewidths=0.2)

# 缺失值处理：之前的map，apply，以及此处的fillna，replace等都可以修改数据。
# 以中位数填充None/NaN值
train_data.Age.fillna(train_data.Age.median(),inplace=True)
# 如果该列缺少太多数据，可直接原地（inplace）删除该列
train_data.drop([‘Age‘],axis=1,inplace=True)
# 使用replace替换属性中的值
train_data.Age.replace(28,30)

4 可视化

df可以直接用matplotlib可视化

train_data[‘Age‘].hist()# 统计各个年龄的数量，作直方图