根据表 B pyspark 从表 A 中选择条目 [重复]

Posted 2023-04-15

【中文标题】根据表 B pyspark 从表 A 中选择条目 [重复]

【英文标题】：Select entries from TABLE A based on TABLE B pyspark [duplicate]

【发布时间】：2020-10-11 17:32:19

【问题描述】：

在 SQL 中，我们可以根据表 B 中的列从表 A 中选择条目。

请看下面：

SELECT * FROM TABLE A 
WHERE NAME in (SELECT NAME FROM TABLE B)

如何在不使用 sql 上下文的情况下在 pyspark 中复制这段代码？

【问题讨论】：

这能回答你的问题吗？ PySpark: match the values of a DataFrame column against another DataFrame column

【参考方案1】：

Df=A.join(B, on =['Name'], how ='inner' ).select(A.columns)

【讨论】：

这个问题是关于 Pyspark，而不是关于 Pandas

这是一个pyspark代码，请查看文档-dzone.com/articles/pyspark-join-explained-with-examples

是的，您现在已将答案更改为使用 Spark 语法