如何将数据框导出到数据湖中的 CSV 文件？ [复制]

Posted 2023-02-23

【中文标题】如何将数据框导出到数据湖中的 CSV 文件？ [复制]

【英文标题】：How can I export a dataframe to a CSV file in my data lake? [duplicate]

【发布时间】：2020-02-10 01:52:11

【问题描述】：

我在网上读到，您可以使用几种不同的方法将数据框的内容保存到数据湖中的 CSV 文件中。我的数据框很好，但我似乎无法将其保存到 CSV 文件中。我很高兴将此 CSV 放在湖中或我的桌面上。要么完全没问题。

尝试 1：

df.write.csv("/data/home/csv")

尝试 2：

df.coalesce(1).write.csv("/data/home/sample.csv")

这两个选项都不适合我。两者都有，我收到一条错误消息，内容为

AttributeError: 'DataFrame' object has no attribute 'write'

这里有人真的让这个工作吗？我在 Databricks 环境中工作。 TIA。

【问题讨论】：

***.com/questions/3345336/…

谢谢，但这似乎不适用于 Databricks 环境。

【参考方案1】：

使用 dataframe 对象的 'to_csv' 方法将内容写入 csv 文件：

df.to_csv(r"filepathAndFilename.csv", index=False)

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_csv.html

【讨论】：

看起来它应该可以工作，AFAIK，但我现在收到此错误：FileNotFoundError: [Errno 2] No such file or directory: 'dbfs/mnt/rawdata/2019/01/01 /corp/AAA.csv'

@asher 如果该文件不存在，它将创建该文件。但是如果目录信息错误，它会抛出错误（这是我在你的情况下猜测的）。请确保您提供正确的路径。

谢谢，但这似乎不适用于 Databricks 环境。我在服务器机器上，我正在尝试将数据框保存到数据湖中的 CSV 或将数据框保存到我桌面上的 CSV 文件中。

我看到这是用于数据块的。让我知道这些链接是否有帮助。一旦您确认您已看到此消息，我将删除我的答案： 1>forums.databricks.com/questions/14991/… 2> docs.databricks.com/data/data-sources/… , 3> towardsdatascience.com/…