pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)
Posted shiter
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)相关的知识,希望对你有一定的参考价值。
spark 2.x 版本
spark 2.4.8 版本:
- https://spark.apache.org/docs/2.4.8/api/python/_modules/pyspark/sql/dataframe.html#DataFrame.toPandas
源代码:
@since(1.3)
def toPandas(self):
"""
Returns the contents of this :class:`DataFrame
以上是关于pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)的主要内容,如果未能解决你的问题,请参考以下文章
spark Dataframe/RDD 相当于描述中给出的 pandas 命令?
从 Pandas Dataframe 错误创建 Spark DataFrame
在 spark.SQL DataFrame 和 pandas DataFrame 之间转换 [重复]
将 Spark Structure Streaming DataFrames 转换为 Pandas DataFrame