pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)

Posted shiter

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)相关的知识,希望对你有一定的参考价值。


spark 2.x 版本

spark 2.4.8 版本:

  • https://spark.apache.org/docs/2.4.8/api/python/_modules/pyspark/sql/dataframe.html#DataFrame.toPandas

源代码:

@since(1.3)
    def toPandas(self):
        """
        Returns the contents of this :class:`DataFrame

以上是关于pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)的主要内容,如果未能解决你的问题,请参考以下文章

spark Dataframe/RDD 相当于描述中给出的 pandas 命令?

从 Pandas Dataframe 错误创建 Spark DataFrame

在 spark.SQL DataFrame 和 pandas DataFrame 之间转换 [重复]

将 Spark Structure Streaming DataFrames 转换为 Pandas DataFrame

如何将 scala spark.sql.dataFrame 转换为 Pandas 数据框

来自 pandas 系列的 Spark DataFrame