pyspark：如何获取 spark 数据帧的 Spark SQLContext？

Posted 2023-04-15

【中文标题】pyspark：如何获取 spark 数据帧的 Spark SQLContext？

【英文标题】：pyspark: How to obtain the Spark SQLContext of the spark dataframe?

【发布时间】：2020-07-03 06:07:30

【问题描述】：

我有一个接受 spark DataFrame 的函数，我想获取 DataFrame 所在的 Spark 上下文。

原因是我想得到SQLContext 这样我就可以运行一些 SQL 查询

sql_Context = SQLContext(output_df.sparkContext())
sql_Context.registerDataFrameAsTable(output_df, "table1")
sql_Context.sql("select * from table1") # or some more complicated query

当然output_df.sparkContext() 不起作用。获取 Spark DataFrame 的 sparkContext 的正确方法是什么？

【参考方案1】：

output_df.rdd.context 完成这项工作

【讨论】：

我已经编辑了答案。该属性实际上称为context 而不是sparkContext。对此感到抱歉

【参考方案2】：

output_df.sql_ctx 就是答案