如何在火花中将数据帧转换为csv [重复]

Posted

技术标签:

【中文标题】如何在火花中将数据帧转换为csv [重复]【英文标题】:How to convert a dataframe to csv in spark [duplicate] 【发布时间】:2018-01-05 05:15:43 【问题描述】:

如何在 spark 中将数据帧转换为 csv,读取为

dataFrame = spark.read.csv("testData2.csv",header='true')

【问题讨论】:

【参考方案1】:

您没有提到 Spark 版本。以下是选项

Spark 1.4+

dataFrame.write.format('com.databricks.spark.csv').save('testdata.csv')

Spark 2.0+

dataFrame.write.csv('testdata.csv')

【讨论】:

以上是关于如何在火花中将数据帧转换为csv [重复]的主要内容,如果未能解决你的问题,请参考以下文章

如何将火花数据帧数组转换为元组

如何在火花上将json字符串转换为数据帧

如何在python中将列值转换为csv的多行[重复]

在 PySpark 中将数据帧写入 CSV 后重命名文件 [重复]

如何将火花流输出转换为数据帧或存储在表中

如何将火花日志文件转换为一个 CSV 文件