从火花数据框到熊猫数据框

Posted 2023-04-15

【中文标题】从火花数据框到熊猫数据框

【英文标题】：from spark dataframe to pandas dataframe

【发布时间】：2019-10-01 15:29:26

【问题描述】：

我有一个通过这种方式创建的 spark 数据框：

tx_df = (spark
         .read
         .parquet("/data/file"))



tx_ecommerce = tx_df.filter(tx_df["POS_Cardholder_Presence"]=="ECommerce").show()

我尝试将 tx_commerce 转换为 pandas 数据框。我试过这样：

tx_ecommerce.toPandas()

但我得到了这个错误：

----------------------------------- ---------------------------- AttributeError Traceback（最近调用 最后）在 ----> 1 tx_ecommerce.toPandas()

AttributeError: 'NoneType' 对象没有属性 'toPandas'

请帮忙解决这个问题？

谢谢

【参考方案1】：

当你把 .show() 放在最后时，它不再是 pyspark 数据框了。

删除它，它应该可以工作。

tx_ecommerce =tx_df.filter(tx_df["POS_Cardholder_Presence"]=="ECommerce")

tx_ecommerce.toPandas()

【讨论】：

不用担心。您也可以接受它作为正确答案吗？谢谢:)