PySpark Jupyter 笔记本显示器

Posted 2023-04-17

【中文标题】PySpark Jupyter 笔记本显示器

【英文标题】：PySpark Juypter Notebook Displays

【发布时间】：2020-08-13 20:53:09

【问题描述】：

我对 jupyter notebook 很陌生，我正在努力以类似于普通 panda 数据框（图 2）的更简洁的方式显示我的 spark 表（图 1）。我尽量不使用熊猫。

显示功能在 spark 数据帧上不起作用 :( 有人可以帮我吗？这将使我更容易分析 spark 表。

【参考方案1】：

当您构建 Spark 会话时，添加配置。

.config("spark.sql.repl.eagerEval.enabled", True)

例如，

import findspark
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
          .master("local") \
          .config("spark.sql.repl.eagerEval.enabled", True) \
          .getOrCreate()

只需调用没有.show 的数据框，如下所示

df

将以这种方式打印结果。