为什么使用Pandas？数据结构及基本使用操作

Posted 2022-09-30 黑马程序员官方

1 Pandas介绍

• 2008年WesMcKinney开发出的库
• 专门用于数据挖掘的开源python库
• 以Numpy为基础，借力Numpy模块在计算方面性能高的优势
• 基于matplotlib，能够简便的画图
• 独特的数据结构

2 为什么使用Pandas

Numpy已经能够帮助我们处理数据，能够结合matplotlib解决部分数据展示等问题，那么pandas学习的目的在什么地方呢？

增强图表可读性

• 回忆我们在numpy当中创建学生成绩表样式：
• 返回结果

如果数据展示为这样，可读性就会更友好：

便捷的数据处理能力

读取文件方便

封装了Matplotlib、Numpy的画图和计算

3 Pandas数据结构

Pandas中一共有三种数据结构，分别为：Series、DataFrame和MultiIndex（老版本中叫Panel ）。 其中Series是一维数据结构，DataFrame是二维的表格型数据结构，MultiIndex是三维的数据结构。

1.Series

Series是一个类似于一维数组的数据结构，它能够保存任何类型的数据，比如整数、字符串、浮点数等，主要由一组数据和与之相关的索引两部分构成。

Series的创建

参数：

• data：传入的数据，可以是ndarray、list等
• index：索引，必须是唯一的，且与数据的长度相等。如果没有传入索引参数，则默认会自动创建一个从0-N的整数索引。
• dtype：数据的类型

通过已有数据创建

• 指定内容，默认索引

pd.Series(np.arange(10))

• 指定索引

pd.Series([6.7,5.6,3,10,2], index=[1,2,3,4,5]) 

• 通过字典数据创建

1.2 Series的属性

为了更方便地操作Series对象中的索引和数据，Series中提供了两个属性index和values

• index

• values

也可以使用索引来获取数据：

2.DataFrame

DataFrame是一个类似于二维数组或表格(如excel)的对象，既有行索引，又有列索引

• 行索引，表明不同行，横向索引，叫index，0轴，axis=0
• 列索引，表名不同列，纵向索引，叫columns，1轴，axis=1

2.1 DataFrame的创建

参数：

• index：行标签。如果没有传入索引参数，则默认会自动创建一个从0-N的整数索引。
• columns：列标签。如果没有传入索引参数，则默认会自动创建一个从0-N的整数索引。

通过已有数据创建

举例一：

pd.DataFrame(np.random.randn(2,3))

回忆咱们在前面直接使用np创建的数组显示方式，比较两者的区别。

举例二：创建学生成绩表

但是这样的数据形式很难看到存储的是什么的样的数据，可读性比较差！！

问题：如何让数据更有意义的显示？

给分数数据增加行列索引,显示效果更佳

效果：

• 增加行、列索引

2.2 DataFrame的属性

• shap

• index

DataFrame的行索引列表

• columns

DataFrame的列索引列表

• values

直接获取其中array的值

• T

转置

结果

• head(5)：显示前5行内容

如果不补充参数，默认5行。填入参数N则显示前N行

• tail(5):显示后5行内容

如果不补充参数，默认5行。填入参数N则显示后N行

2.3 DatatFrame索引的设置

需求：

2.3.1 修改行列索引值

注意：以下修改方式是错误的

2.3.2 重设索引

reset_index(drop=False)

• 设置新的下标索引
• drop:默认为False，不删除原来索引，如果为True,删除原来的索引值

2.3.3 以某列值设置为新的索引

set_index(keys, drop=True)

• keys : 列索引名成或者列索引名称的列表
• drop : boolean, default True.当做新的索引，删除原来的列

设置新索引案例

1、创建

2、以月份设置新的索引

3、设置多个索引，以年和月份

注：通过刚才的设置，这样DataFrame就变成了一个具有MultiIndex的DataFrame。

3.MultiIndex与Panel

3.1 MultiIndex

MultiIndex是三维的数据结构;

多级索引（也称层次化索引）是pandas的重要功能，可以在Series、DataFrame对象上拥有2个以及2个以上的索引。

3.1.1 multiIndex的特性

打印刚才的df的行索引结果

多级或分层索引对象。

index属性

• names:levels的名称
• levels：每个level的元组值

3.1.2 multiIndex的创建

3.2 Panel

3.2.1 panel的创建

class pandas.Panel (data=None, items=None, major_axis=None, minor_axis=None)

• 作用：存储3维数组的Panel结构
• 参数：

data : ndarray或者dataframe

items : 索引或类似数组的对象，axis=0

major_axis : 索引或类似数组的对象，axis=1

minor_axis : 索引或类似数组的对象，axis=2

3.2.2 查看panel数据

注： Pandas从版本 0.20.0开始弃用：推荐的用于表示 3D数据的方法是通过 DataFrame上的 MultiIndex方法

4 基本数据操作

为了更好的理解这些基本操作，我们将读取一个真实的股票数据。关于文件操作，后面在介绍，这里只先用一下API

1 索引操作

Numpy当中我们已经讲过使用索引选取序列和切片选择，pandas也支持类似的操作，也可以直接使用列名、行名称，甚至组合使用。

1.1 直接使用行列索引(先列后行)

获取'2018-02-27'这天的'close'的结果

1.2 结合loc或者iloc使用索引

获取从'2018-02-27':'2018-02-22'，'open'的结果

1.3 使用ix组合索引

Warning:Starting in 0.20.0, the .ix indexer is deprecated, in favor of the more strict .iloc and .loc indexers.

获取行第1天到第4天，['open', 'close', 'high', 'low']这个四个指标的结果

2 赋值操作

对DataFrame当中的close列进行重新赋值为1

3 排序

排序有两种形式，一种对于索引进行排序，一种对于内容进行排序

• 使用df.sort_index给索引进行排序

这个股票的日期索引原来是从大到小，现在重新排序，从小到大

3.2 Series排序

• 使用series.sort_values(ascending=True)进行排序

series排序时，只有一列，不需要参数

• 使用series.sort_index()进行排序

与df一致