Pandas 数据框中的随机行选择

Posted 2023-03-12

【中文标题】Pandas 数据框中的随机行选择

【英文标题】：Random row selection in Pandas dataframe

【发布时间】：2013-04-02 04:12:00

【问题描述】：

有没有办法从 Pandas 的 DataFrame 中选择随机行。

在 R 中，使用 car 包，有一个有用的函数 some(x, n)，它类似于 head，但在本例中，从 x 中随机选择 10 行。

我还查看了切片文档，似乎没有任何等效的。

更新

现在使用版本 20。有一个示例方法。

df.sample(n)

【问题讨论】：

如果您要采样尺寸大于原始尺寸的样品，请使用df.sample(N, replace=True)。更多详情here.

【参考方案1】：

这样的？

import random

def some(x, n):
    return x.ix[random.sample(x.index, n)]

注意：从 Pandas v0.20.0 开始，ixhas been deprecated 支持 loc 用于基于标签的索引。

【讨论】：

谢谢@eumiro。我还发现df.ix[np.random.random_integers(0, len(df), 10)] 也可以。

如果你想使用numpy，那么你也可以df.ix[np.random.choice(df.index, 10)]。

其他帖子中有人提到np.random.choice 的速度是random.sample 的两倍

如果你使用 np.random.choice 你必须指定 replace=False，否则你会得到重复的行！

我认为“.ix”已被弃用，您应该使用 .loc 进行基于标签的索引

【参考方案2】：

实际上，这会给您重复索引np.random.random_integers(0, len(df), N)，其中N 是一个很大的数字。

【参考方案3】：

最好的方法是使用随机模块中的示例函数，

import numpy as np
import pandas as pd
from random import sample

# given data frame df

# create random index
rindex =  np.array(sample(xrange(len(df)), 10))

# get 10 random rows from df
dfr = df.ix[rindex]

【参考方案4】：

使用 pandas 版本 0.16.1 及更高版本，现在有一个 DataFrame.sample method built-in：

import pandas

df = pandas.DataFrame(pandas.np.random.random(100))

# Randomly sample 70% of your dataframe
df_percent = df.sample(frac=0.7)

# Randomly sample 7 elements from your dataframe
df_elements = df.sample(n=7)

对于上述任何一种方法，您都可以通过以下方式获取其余行：

df_rest = df.loc[~df.index.isin(df_percent.index)]

【讨论】：

df_0.7 不是有效名称。此外，我建议将df_rest = df.loc[~df.index.isin(df_0_7.index)] 替换为df_rest = df.loc[df.index.difference(df_0_7.index)]。

@PietroBattiston 谢谢。我试图让答案更清楚，但我同意一个非工作示例不清楚。很好的关于差异的提示。不过，我仍然更喜欢编写切片，以便将其作为索引读取“不在我的样本索引中”。 difference() 是否有性能提升？

@ryanjdillon 还有一个错字，我修正了。关于方法，我实际上收回了我的建议，因为它的效率确实有点低。 df_percent.index.get_indexer(df.index) == -1 效率更高（但也更丑陋）...

【参考方案5】：

下面的行将从数据帧 df 的现有总行数中随机选择 n 行而不进行替换。

df=df.take(np.random.permutation(len(df))[:n])

【参考方案6】：

sample

从 v0.20.0 开始，您可以使用pd.DataFrame.sample，它可用于返回固定数量行的随机样本，或一定百分比的行：

df = df.sample(n=k)     # k rows
df = df.sample(frac=k)  # int(len(df.index) * k) rows

为了重现性，你可以指定一个整数random_state，相当于使用np.ramdom.seed。因此，您可以：

df = df.sample(n=k, random_state=0)