Spark 笛卡尔积中的唯一对

Posted 2023-04-15

【中文标题】Spark 笛卡尔积中的唯一对

【英文标题】：Spark Unique pair in cartesian product

【发布时间】：2016-05-04 12:27:45

【问题描述】：

我有这个：

In [1]:a = sc.parallelize([a,b,c])
In [2]:a.cartesian(a).collect()
Out[3]: [(a, a), (a, b), (a, c), (b, a), (c, a), (b, b), (b, c), (c, b), (c, c)]

我想要以下结果：

In [1]:a = sc.parallelize([1,2,3])
In [2]:a.cartesianMoreInteligent(a).collect()
Out[3]: [(a, a), (a, b), (a, c), (b, b), (b, c), (c, c)]

因为我的微积分返回一个对称矩阵（相关性）。 实现这一目标的最佳方法是什么？ （无循环） 对于 a，b 和 c 可以是任何东西，甚至是元组。

【参考方案1】：

不确定python语法，但在scala中你可以写：

a.cartesian(a).filter case (a,b) => a <= b .collect()

我的猜测是在 python 中它会是这样的：

a.cartesian(a).filter(lambda a, b: a <= b).collect()

【讨论】：

对不起，我的示例有点超出范围，我目前使用字符串并列出无法订购它们