如何阻止 pyspark 数据框更改为列表？

Posted 2023-04-15

【中文标题】如何阻止 pyspark 数据框更改为列表？

【英文标题】：How do I stop a pyspark dataframe from changing to a list?

【发布时间】：2020-09-17 03:35:09

【问题描述】：

我从一个 pyspark 数据帧开始，并在我使用 .take() 后转换为一个列表。如何将其保留为 pyspark 数据框？

    df1 = Ce_clean
    print(type(df1))
    df1 = df1.take(1000)
    print(type(df1))

【参考方案1】：

您可以将RDD/list 转换为df 或使用limit(n)

 df2 = spark.createDataFrame(df1.take(100))
 type(df2)
 <class 'pyspark.sql.dataframe.DataFrame'>

或

 df3 = df1.limit(100)
 type(df3)
 <class 'pyspark.sql.dataframe.DataFrame'>