pandas索引的设置与修改

Posted 2023-04-03

参考技术A

大家好，我是Peter~

本文主要是介绍Pandas中行和列索引的4个函数操作：

[图片上传失败...(image-cd4552-1650125292352)]

快速回顾下Pandas创建索引的常见方法：

In [1]:

In [2]:

Out[2]:

新的间隔索引 IntervalIndex 通常使用 interval_range()函数来进行构造，它使用的是数据或者数值区间，基本用法：

In [3]:

Out[3]:

In [4]:

Out[4]:

以时间和日期作为索引，通过date_range函数来生成，具体例子为：

In [5]:

Out[5]:

pd.PeriodIndex是一个专门针对周期性数据的索引，方便针对具有一定周期的数据进行处理，具体用法如下：

In [6]:

Out[6]:

In [7]:

Out[7]:

In [8]:

Out[8]:

下面通过一份 简单的数据来讲解4个函数的使用。数据如下：

[图片上传失败...(image-3aca17-1650125292352)]

设置单层索引

In [10]:

[图片上传失败...(image-bfb6f-1650125292352)]

我们发现df1的索引已经变成了name字段的相关值。

下面是设置多层索引：

[图片上传失败...(image-9d4af3-1650125292352)]

对索引的重置：

[图片上传失败...(image-65ca91-1650125292352)]

针对多层索引的重置：

[图片上传失败...(image-346967-1650125292352)]

多层索引直接原地修改：

[图片上传失败...(image-7872da-1650125292352)]

将指定的数据分配给所需要的轴axis。其中axis=0代表行方向，axis=1代表列方向。

两种不同的写法：

[图片上传失败...(image-f0a50b-1650125292352)]

使用 index 效果相同：

[图片上传失败...(image-2db9bf-1650125292352)]

原来的df2是没有改变的。如果我们想改变生效，同样也可以直接原地修改：

[图片上传失败...(image-ed363a-1650125292352)]

针对axis=1或者axis="columns"方向上的操作。

1、直接传入我们需要修改的新名称：

[图片上传失败...(image-7bcc7d-1650125292352)]

使用axis="columns"效果相同：

[图片上传失败...(image-a4d826-1650125292352)]

同样也可以直接原地修改：

[图片上传失败...(image-c4a86e-1650125292352)]

给行索引或者列索引进行重命名，假设我们的原始数据如下：

[图片上传失败...(image-a0b253-1650125292352)]

1、通过传入的一个或者多个属性的字典形式进行修改：

In [29]:

[图片上传失败...(image-4182d0-1650125292352)]

同时修改多个列属性的名称：

[图片上传失败...(image-10ee4d-1650125292352)]

2、通过传入的函数进行修改：

In [31]:

[图片上传失败...(image-e361db-1650125292352)]

也可以使用匿名函数lambda：

[图片上传失败...(image-87745a-1650125292352)]

In [33]:

在这里我们使用的是可视化库plotly_express库中的自带数据集tips：

[图片上传失败...(image-33140a-1650125292352)]

In [34]:

Out[34]:

In [35]:

我们发现df3其实是一个Series型的数据：

Out[35]:

In [36]:

下面我们通过reset_index函数将其变成了DataFrame数据：

[图片上传失败...(image-95459-1650125292352)]

我们把列方向上的索引重新命名下：

In [37]:

[图片上传失败...(image-110652-1650125292352)]

In [38]:

[图片上传失败...(image-59dc42-1650125292352)]

我们发现df5是df5是一个具有多层索引的数据框：

In [39]:

Out[39]:

我们可以选择重置其中一个索引：

[图片上传失败...(image-793c4e-1650125292352)]

在重置索引的同时，直接丢弃原来的字段信息： 下面的sex信息被删除

In [41]:

[图片上传失败...(image-f47489-1650125292352)]

列方向上的索引直接原地修改：

[图片上传失败...(image-3c482b-1650125292352)]

最后介绍一个笨方法来修改列索引的名称： 就是将新的名称通过列表的形式全部赋值给数据框的columns属性

[图片上传失败...(image-d313ca-1650125292353)]

在列索引个数少的时候用起来挺方便的，如果多了不建议使用。

设置索引后 pandas df 的意外修改

【中文标题】设置索引后 pandas df 的意外修改

【英文标题】：Unexpected modification in pandas df after setting index

【发布时间】：2021-06-13 13:45:49

【问题描述】：

我开始使用 pandas，但遇到了问题。 我正在使用具有以下形式的不同 csv：

10,152.46
12,124.67
11,150.1
20/21,126.7
37/38,128.8
39,6.19
40,6.8
35-36,9.7
27-31_32,11.3

要导入它，我运行： experimental = pd.read_csv(csv_file,usecols=[0,1]).dropna() --> 按预期工作

0	10	152.46
1	12	124.67
2	11	150.1
3	20/21	126.7
4	37/38	128.8
5	39	6.19
6	40	6.8
7	35-36	9.7
8	27-31_32	11.3

然后，轻松将其与其他 df 组合 实验=experimental.set_index(experimental.columns[0])

这就是问题的开始。对于其他一些看起来相同的文件，没有问题：不再有索引，第二列（10/12/11...）被设置为索引。 这将是预期的结果，与其他 csv 文件观察到的结果相同

10	152.46
12	124.67
11	150.1

但是，与其他人（像这样）一起，我得到了这种类型的 df

	152.46
10
12	124.67
11	150.1

...

我尝试读取为 utf-8 或在 csv 中添加标题但没有成功。 以我呈现它的方式，其他看起来相同的文件也可以工作。

谢谢

【参考方案1】：

您没有设置正确的索引：experimental.columns[0] 返回第一列的名称。要将第一列设置为索引，请使用

experimental.set_index(experimental.iloc[:, 0])

或者，您可以在pd.read_csv 中使用index_col=0 将第一列设置为读取时的索引：

experimental = pd.read_csv(csv_file, usecols=[0,1], index_col=0, header=None).dropna()

header=None 关键字表示您的数据没有任何列名，并且 csv 中的第一行是第一个数据行。

【讨论】：

感谢您的快速回答。不幸的是，对于这两个代码行，问题仍然存在。有那个“空白”单元格持续存在:(

@user1997194 你用过header=None吗？ experimental.columns 的输出是什么？ “空白”单元格只是列名和索引名的视觉分隔符。您的数据看起来像您的列的名称是 10 和 152.46。

是的。我复制并粘贴它。 print(experimental.columns) Int64Index([1], dtype='int64') 的结果也许我应该提到我在运行时很容易意识到错误： noc = [f for f in list(experimental.index) if '-' not in f] 然后错误是'float' is not iterable