在 Pandas 数据框中查找唯一值，无论行或列位置如何

Posted 2023-03-31

【中文标题】在 Pandas 数据框中查找唯一值，无论行或列位置如何

【英文标题】：Find unique values in a Pandas dataframe, irrespective of row or column location

【发布时间】：2013-11-19 23:26:53

【问题描述】：

我有一个 Pandas 数据框，我想找到该数据框中的所有唯一值……无论行/列如何。如果我有一个 10 x 10 的数据框，并假设它们有 84 个唯一值，我需要找到它们 - 而不是计数。

我可以通过迭代数据框的行来创建一个集合并添加每行的值。但是，我觉得它可能效率低下（不能证明这一点）。有没有找到它的有效方法？有预定义的功能吗？

【参考方案1】：

In [1]: df = DataFrame(np.random.randint(0,10,size=100).reshape(10,10))

In [2]: df
Out[2]: 
   0  1  2  3  4  5  6  7  8  9
0  2  2  3  2  6  1  9  9  3  3
1  1  2  5  8  5  2  5  0  6  3
2  0  7  0  7  5  5  9  1  0  3
3  5  3  2  3  7  6  8  3  8  4
4  8  0  2  2  3  9  7  1  2  7
5  3  2  8  5  6  4  3  7  0  8
6  4  2  6  5  3  3  4  5  3  2
7  7  6  0  6  6  7  1  7  5  1
8  7  4  3  1  0  6  9  7  7  3
9  5  3  4  5  2  0  8  6  4  7

In [13]: Series(df.values.ravel()).unique()
Out[13]: array([9, 1, 4, 6, 0, 7, 5, 8, 3, 2])

Numpy 独特的排序，所以这样做会更快（如果需要，然后再排序）

In [14]: df = DataFrame(np.random.randint(0,10,size=10000).reshape(100,100))

In [15]: %timeit Series(df.values.ravel()).unique()
10000 loops, best of 3: 137 ﾵs per loop

In [16]: %timeit np.unique(df.values.ravel())
1000 loops, best of 3: 270 ﾵs per loop

【讨论】：

对于较大的数组，使用不排序的 pd.unique 会更快。

更好的是pd.unique(df.values.ravel())，这样可以避免创建系列:)

非常感谢@Andy 和 Jeff。快速学习 Pandas、Scipy/Numpy...在 SO 的专家帮助下！

我有一个非常大的带有日期值的df，下面的工作流程对我来说要快得多cols = df.columns; df['dummy'] = 0.0; df.groupby(cols)[['dummy']].size().reset_index().drop('dummy',axis=1)

【参考方案2】：

或者你可以使用：

df.stack().unique()

如果有 NaN 值，则无需担心，因为它们在进行堆叠时会被排除在外。

【讨论】：

如果数组的形状与旧数据框不匹配，我将如何将其转换回数据框......