在 pyspark 中加载 SQL 查询？

Posted 2023-04-15

【中文标题】在 pyspark 中加载 SQL 查询？

【英文标题】：Load a SQl query in pyspark?

【发布时间】：2017-09-05 08:23:22

【问题描述】：

有什么方法可以使用 pyspark 直接从 oracle sql 读取 sql 脚本？ 我一直在 pyspark 中加载两个表并尝试加入它们，在 pyspark 中这样做需要很长时间，我需要加入更多表（6 个表）。这在 Oracle Sql 中不需要太多时间。

那么如何使用 pyspark 读取和运行“X.sql”文件？

【参考方案1】：

所以我找到了一种解决方案：

with open("C:\Desktop\Project\Alerts.sql") as Al:
   Alert= Al.read()
results = sqlctx.sql(Alert)