利用Python进行数据分析——pandas入门

Posted 2020-11-03 nadech

利用Python进行数据分析——pandas入门

• 基于NumPy建立的
• from pandas importSeries,DataFrame,import pandas as pd

一、两种数据结构

1.Series

类似于Python的字典，有索引和值

创建Series

#不指定索引，默认创建0-N
In [54]: obj = Series([1,2,3,4,5])

In [55]: obj
Out[55]:
0    1
1    2
2    3
3    4
4    5
dtype: int64
#指定索引
In [56]: obj1 = Series([1,2,3,4,5],index=[‘a‘,‘b‘,‘c‘,‘d‘,‘e‘])

In [57]: obj1
Out[57]:
a    1
b    2
c    3
d    4
e    5
dtype: int64

#将Python中的字典转换为Series
In [63]: dic = {‘a‘:1,‘b‘:2,‘c‘:3}

In [64]: obj2 = Series(dic)

In [65]: obj2
Out[65]:
a    1
b    2
c    3
dtype: int64

对Series进行数组运算（根据布尔型数组进行过滤、标量乘法、应用函数等）依旧会保留索引和值之间的对应关系。
对应index的值找不到就用NAN表示，且在算数运算中会自动补齐数据，不存在用NAN

2.DataFrame

DataFrame是一个表格型的数据结构，既有行索引也有列索引。

创建DataFrame

#传进去一个等长列表组成的字典
IIn [75]: data = {‘name‘:[‘nadech‘,‘bob‘],‘age‘:[23,25],‘sex‘:[‘male‘,‘female‘]}

In [76]: DataFrame(data)
Out[76]:
   age    name     sex
0   23  nadech    male
1   25     bob  female

#指定列的顺序
In [77]: DataFrame(data,columns=[‘sex‘,‘name‘,‘age‘])
Out[77]:
      sex    name  age
0    male  nadech   23
1  female     bob   25
# 嵌套字典创建DataFrame

DataFrame的操作

#获取某一列
In [82]: frame[‘age‘]  /frame.age
Out[82]:
0    23
1    25
Name: age, dtype: int64

#赋值
In [86]: frame2
Out[86]:
   age     sex    name grade
0   23    male  nadech   NaN
1   25  female     bob   NaN

In [87]: frame2[‘grade‘]=12

In [88]: frame2
Out[88]:
   age     sex    name  grade
0   23    male  nadech     12
1   25  female     bob     12

Index对象

In [14]: index = frame.index

In [15]: index
Out[15]: RangeIndex(start=0, stop=3, step=1)
# index 对象不可修改
In [16]: index[0]=3
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)

二、基本功能

1.Series和DataFrame的重新索引

#Series
In [25]: obj = Series([‘nadech‘,‘aguilera‘,‘irenieee‘],index=[‘a‘,‘b‘,‘c‘])

In [26]: obj
Out[26]:
a      nadech
b    aguilera
c    irenieee
dtype: object

In [27]: obj.reindex([‘c‘,‘b‘,‘a‘])
Out[27]:
c    irenieee
b    aguilera
a      nadech
dtype: object


#####DataFrame
In [21]: frame
Out[21]:
   one  two  three
a    0    1      2
b    3    4      5
c    6    7      8
#直接传进去的列表是对行的重新索引
In [22]: frame.reindex([‘c‘,‘b‘,‘a‘])
Out[22]:
   one  two  three
c    6    7      8
b    3    4      5
a    0    1      2
#对列的重新索引需要参数columns
In [24]: frame.reindex(columns=[‘three‘,‘two‘,‘one‘])
Out[24]:
   three  two  one
a      2    1    0
b      5    4    3
c      8    7    6

2.删除指定轴上的项

#Series
In [28]: obj.drop(‘c‘)
Out[28]:
a      nadech
b    aguilera
dtype: object

In [30]: obj.drop([‘b‘,‘a‘])
Out[30]:
c    irenieee
dtype: object

#####DataFrame

frame删除行索引直接删除，列索引删除需要指定axis=1

In [39]: frame
Out[39]:
   one  two  three
a    0    1      2
b    3    4      5
c    6    7      8

In [40]: frame.drop(‘a‘)
Out[40]:
   one  two  three
b    3    4      5
c    6    7      8

In [41]: frame.drop(‘one‘,axis=1)
Out[41]:
   two  three
a    1      2
b    4      5
c    7      8

3.索引、选取和过滤

Series索引
In [8]: obj
Out[8]:
a 0
b 1
c 2
d 3
dtype: int32

In [9]: obj[‘a‘]
Out[9]: 0

In [10]: obj[0]
Out[10]: 0

#注意利用标签切片和index 0-N是不同的
In [11]: obj[2:3]
Out[11]:
c    2
dtype: int32

In [12]: obj[‘c‘:‘d‘]
Out[12]:
c    2
d    3
dtype: int32

DataFrame索引

#索取frame的列
In [24]: frame
Out[24]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7
c    8    9     10    11
d   12   13     14    15

In [25]: frame[‘one‘]
Out[25]:
a     0
b     4
c     8
d    12
Name: one, dtype: int32

In [26]: frame[[‘one‘,‘two‘]]
Out[26]:
   one  two
a    0    1
b    4    5
c    8    9
d   12   13
#索取frame的行，标签索引
In [33]: frame.ix[‘a‘]
Out[33]:
one      0
two      1
three    2
four     3
Name: a, dtype: int32

In [31]: frame.ix[[‘a‘,‘b‘]]
Out[31]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7

#同时选取行和列
In [35]: frame.ix[[‘a‘,‘b‘],[‘one‘,‘two‘]]
Out[35]:
   one  two
a    0    1
b    4    5

4.算数运算和数据对齐

#当存在不同的索引对计算时，会产生并集，和NAN，通过fill_value 可以传入参数

• add()
• sub()
• div()
• mul()

5.Series和DataFrame的运算

#series的索引会匹配到dataframe的列，然后向下广播
In [46]: frame
Out[46]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7
c    8    9     10    11
d   12   13     14    15

In [47]: obj = frame.ix[‘a‘]

In [48]: obj
Out[48]:
one      0
two      1
three    2
four     3
Name: a, dtype: int32

In [49]: frame - obj
Out[49]:
   one  two  three  four
a    0    0      0     0
b    4    4      4     4
c    8    8      8     8
d   12   12     12    12

#可以指定series匹配到dataframe的列（即index）然后向右广播，即沿着列广播
In [51]: frame
Out[51]:
   one  two  three  four
a    0    1      2     3
b    4    5      6     7
c    8    9     10    11
d   12   13     14    15

In [52]: obj2 = Series(np.arange(4),index=[‘a‘,‘b‘,‘c‘,‘d‘])

In [53]: obj2
Out[53]:
a    0
b    1
c    2
d    3
dtype: int32

In [54]: frame.sub(obj2,axis=0)   #dataframe的行用0、列用1
Out[54]:
   one  two  three  four
a    0    1      2     3
b    3    4      5     6
c    6    7      8     9
d    9   10     11    12

5.排序

#按轴上的索引排序

   #Series
    In [6]: obj
    Out[6]:
    a    0
    c    1
    b    2
    d    3
    In [8]: obj.sort_index()
    Out[8]:
    a    0
    b    2
    c    1
    d    3
    dtype: int32
    #DataFrame
    frame.sort_index()
    frame.sort_index(axis=1)
    

6.obj.index.is_unique可以用来判断index是否唯一

三、汇总和计算描述统计

描述和汇总统计

• count 非Na值的数量
• describe 针对Series或各DataFrame列计算汇总统计
• min/max 最下最大值 都是每列中的最值
• aigmin/argmax 最小、大值的索引位置
• idxmin/idxmax 能获取到最小值和最大值的索引值
• quantile 计算样本的分位数
• sum() 计算每列的和
• mean()计算每列的均值
• median 计算每列的算数中位数
• mad() 根据平均值计算平均绝对离差
• var 计算每列的方差
• std 计算每列的标准差
• skew 样本值的偏度（三阶矩)
• kurt 样本值的峰度（四阶矩）
• cumsum 样本值的累计和
• cummin/cummax 累计最大值和累计最小值
• cumprod 累计积
• diff 计算一阶差分
• pct_change 计算百分数变化

Series的唯一值、值的count数、

• obj.unique() 返回唯一值数组
• obj.value_counts() 计算各个值出现的次数
• pd.value_counts(obj.values) 这个也可以用来计算count数，是顶层的方法
• isin([]) 判断Series各个值是否包含于传入的值序列中

四、处理缺失数据

NAN处理方法

• dropna 删除空值
• fillna 给空值赋值
• isnull 判断是否有空值存在
• notnull

DataFrame.drop()复杂情况

In [49]: fram1
Out[49]:
     0    1    2
0  1.0  6.5  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  6.5  3.0

In [50]: cleaned = fram1.dropna()

In [51]: cleaned
Out[51]:
     0    1    2
0  1.0  6.5  3.0

In [52]: fram1.dropna(how=‘all‘)
Out[52]:
     0    1    2
0  1.0  6.5  3.0
1  1.0  NaN  NaN
3  NaN  6.5  3.0

#如上形式丢弃列的空值，传入axis=1

填充缺失值

obj.fillna()暴力填充
fram.fillna({1:0.1,2:0.2}) 对dataframe可以指定列填充对应的缺失值
#传入method，可以给每列填充一个上一个非空的数字，并且可以通过limit限制每列填充的个数
implace =True 会产生新的对象

In [57]: df
Out[57]:
          0         1         2
0 -0.018286  0.246567  1.115108
1  0.722105  0.984472 -1.709935
2  1.477394       NaN  1.362234
3  0.077912       NaN  0.414627
4  0.530048       NaN       NaN
5  0.294424       NaN       NaN

In [58]: df.fillna(method=‘ffill‘)
Out[58]:
          0         1         2
0 -0.018286  0.246567  1.115108
1  0.722105  0.984472 -1.709935
2  1.477394  0.984472  1.362234
3  0.077912  0.984472  0.414627
4  0.530048  0.984472  0.414627
5  0.294424  0.984472  0.414627

In [59]: df.fillna(method=‘ffill‘,limit=2)
Out[59]:
          0         1         2
0 -0.018286  0.246567  1.115108
1  0.722105  0.984472 -1.709935
2  1.477394  0.984472  1.362234
3  0.077912  0.984472  0.414627
4  0.530048       NaN  0.414627
5  0.294424       NaN  0.414627
    

五、层次化索引

DataFrame和层次化索引可以互相转换
frame.stack()  /unstack()