在熊猫数据框（和）列表上使用 scipy pdist

Posted 2023-03-11

【中文标题】在熊猫数据框（和）列表上使用 scipy pdist

【英文标题】：Using scipy pdist on pandas data frames (and) lists

【发布时间】：2014-01-20 14:57:21

【问题描述】：

我又遇到了一个奇怪的问题。

假设我有以下虚拟数据框（通过演示我的问题）：

import numpy as np
import pandas as pd
import string

# Test data frame
N = 3
col_ids = string.letters[:N]
df = pd.DataFrame(
    np.random.randn(5, 3*N), 
    columns=['_'.format(letter, coord) for letter in col_ids for coord in list('xyz')])

df

这会产生：

     A_x         A_y         A_z         B_x         B_y         B_z         C_x         C_y         C_z
0   -1.339040    0.185817    0.083120    0.498545   -0.569518    0.580264    0.453234    1.336992   -0.346724
1   -0.938575    0.367866    1.084475    1.497117    0.349927   -0.726140   -0.870142   -0.371153   -0.881763
2   -0.346819   -1.689058   -0.475032   -0.625383   -0.890025    0.929955    0.683413    0.819212    0.102625
3    0.359540   -0.125700   -0.900680   -0.403000    2.655242   -0.607996    1.117012   -0.905600    0.671239
4    1.624630   -1.036742    0.538341   -0.682000    0.542178   -0.001380   -1.126426    0.756532   -0.701805

现在我想在这个熊猫数据框上使用scipy.spatial.distance.pdist。事实证明，这是一个相当不平凡的过程。 pdist 所做的是使用欧几里德距离（2-范数）作为点之间的距离度量来计算 m 个点之间的距离。这些点在矩阵 X (source) 中排列为 m 个 n 维行向量。

因此，要创建一个对 pandas 数据框进行操作的函数，需要做几件事，以便可以使用 pdist 函数。您会注意到，当点数变得非常大时，pdist 很方便。我尝试过自己制作，它适用于单行数据框，但理想情况下，我无法让它同时在整个数据框上工作。

这是我的尝试：

from scipy.spatial.distance import pdist, squareform
import numpy as np
import pandas as pd
import string

def Euclidean_distance(df):
    EcDist = pd.DataFrame(index=df.index) # results container
    arr = df.values # Store data frame values into a numpy array
    tag_list =  [num for elem in arr for num in elem] # flatten numpy array into single list
    tag_list_3D = zip(*[iter(tag_list)]*3) # separate list into length = 3 sub-lists, that pdist() can work with
    EcDist = pdist(tag_list_3D) # the distance between m points using Euclidean distance (2-norm)
    return EcDist

首先，我开始以 pandas 形式创建一个结果容器，以存储结果。其次，我将 pandas 数据框保存为一个 numpy 数组，以便在下一步将其转换为列表形式。它必须是列表形式，因为pdist 函数只对列表进行操作。将数据框保存到数组中时，它将其存储为列表中的列表。这必须展平，保存在“tag_list”变量中。第三，将tag_list进一步缩减为长度为3的子列表，这样可以获得每个点的x，y和z坐标，可以用来找到所有这些点之间的欧几里得距离（在这个例子中有三个点：A、B 和 C 都是三维的）。

如上所述，如果数据框是单行，则该函数可以工作，但是在给定示例中使用该函数时，它会计算 5x3 点的欧几里得距离，总共产生 105 个距离。我想要它做的是计算每行的距离（所以 pdist 一次只能在 1x3 向量上工作）。这样我的最终结果，对于这个例子，看起来像这样：

   dist_1    dist_2    dist_3
0  0.807271  0.142495  1.759969
1  0.180112  0.641855  0.257957
2  0.196950  1.334812  0.638719
3  0.145780  0.384268  0.577387
4  0.044030  0.735428  0.549897

（这些只是显示所需形状的虚拟数字）

因此，如何让我的函数以逐行方式应用于数据框？ 或者更好的是，我怎样才能让它一次在整个数据帧上执行该功能，然后将结果存储在一个新的数据帧中？

任何帮助将不胜感激。谢谢。

【问题讨论】：

你能具体说明你想要什么吗？您是说，对于 DataFrame 的每一行，您都需要一个新行，其中包含该行中三个点之间的成对距离？您似乎表示您希望将其扩展为更多点，但如果您每行添加更多点，您的 DataFrame 将变得非常笨拙。为什么不为每个点设置单独的行，并使用一个额外的列来指定“组 ID”？

你不能从scipy.spatial.distance得到你想要的。我知道，因为我正在对其进行增强，以允许做你想做的事情，请参阅 PR here。也许在 0.14...

@BrenBarn，好的，假设我有一个矩阵数组。数组的行包含空间中点的 3d 坐标，例如 [(x,y,z),...,(x,y,z)]。现在我想要一个函数来计算该行上所有这些点之间的欧几里得距离。进一步假设我想对矩阵的所有行做同样的事情。在我的情况下，我每行有 12 个点，因此如果我们将这些点视为完整图，那么将有 66 个（n（n-1）/12）条边。因此，我的问题是：如何执行这样的功能？

@Jaime;好的，谢谢。很高兴知道。我会尝试找出其他方法。干杯。

【参考方案1】：

如果我理解正确，您有“组”点。在您的示例中，每个组都有三个点，您称之为 A、B 和 C。A 由三列 A_x、A_y、A_z 表示，B 和 C 也是如此。

我的建议是将“宽格式”数据重组为“长”格式，其中每一行仅包含 一个 点。然后，每一行将只有 三个 列作为坐标，然后您将添加一个额外的列来表示一个点所在的组。下面是一个示例：

>>> d = pandas.DataFrame(np.random.randn(12, 3), columns=["X", "Y", "Z"])
>>> d["Group"] = np.repeat([1, 2, 3, 4], 3)
>>> d
           X         Y         Z  Group
0  -0.280505  0.888417 -0.936790      1
1   0.823741 -0.428267  1.483763      1
2  -0.465326  0.005103 -1.107431      1
3  -1.009077 -1.618600 -0.443975      2
4   0.535634  0.562617  1.165269      2
5   1.544621 -0.858873 -0.349492      2
6   0.839795  0.720828 -0.973234      3
7  -2.273654  0.125304  0.469443      3
8  -0.179703  0.962098 -0.179542      3
9  -0.390777 -0.715896 -0.897837      4
10 -0.030338  0.746647  0.250173      4
11 -1.886581  0.643817 -2.658379      4

Group==1的三个点分别对应你第一行的A、B、C； Group==2 的三个点对应于您第二行中的 A、B 和 C；等等

使用这种结构，使用pdist 按组计算成对距离变得简单：

>>> d.groupby('Group')[["X", "Y", "Z"]].apply(lambda g: pandas.Series(distance.pdist(g), index=["D1", "D2", "D3"]))
             D1        D2        D3
Group                              
1      2.968517  0.918435  2.926395
2      3.119856  2.665986  2.309370
3      3.482747  1.314357  2.346495
4      1.893904  2.680627  3.451939

可以对现有设置做类似的事情，但会更尴尬。设置方式的问题在于，您以难以提取的方式对关键信息进行了编码。在您的设置中，关于哪些列是 X 坐标以及哪些是 Y 或 Z 坐标的信息，以及关于哪些列指代 A 点与 B 或 C 点的信息，被编码在 文本名称中的列。作为人类，您可以通过查看它们来查看哪些列是 X 值，但以编程方式指定需要解析列的字符串名称。

您可以在您的 '_'.format(letter, coord) 业务中创建列名的方式中看到这一点。这意味着为了在您的数据上使用pdist，您必须执行将列名解析为字符串的反向操作，以便决定要比较哪些列。不用说，这会很尴尬。另一方面，如果你把数据变成“长”形式，就没有这样的困难：所有点的 X 坐标在 one 列中对齐，Y 和 Z 也是如此，并且关于要比较的点的信息也包含在 one 列（“组”列）中。

当您想对数据子集进行大规模操作时，通常最好将数据拆分成单独的行。这使您可以利用 groupby 的强大功能，这通常也是 scipy 工具所期望的。

【讨论】：

太棒了！我没有考虑像您所做的那样“堆叠”所有数据。那么我想，我可以使用时间戳代替您的组标签（因为每个时间戳都有 12 个 3D 坐标，并且每个时间戳都需要 pdist）。它会产生一个相当大的数组，但这不是一个大问题。我会试一试并报告。谢谢！