Python pyspark 将 DF 写入 .csv 并存储在本地 C 盘

Posted 2023-03-23

【中文标题】Python pyspark 将 DF 写入 .csv 并存储在本地 C 盘

【英文标题】：Python pyspark Write DF to .csv and store it in local c drive

【发布时间】：2020-09-11 09:58:03

【问题描述】：

我想保存一个使用 SQLContext 提取数据的数据框，并将其保存到 C 盘中的 .csv 文件中。我正在使用 Zeppelin 运行我的代码。

以下代码运行，但我在指定位置看不到文件。 SQLContect 中的选择查询正在从 HIVE DB 中提取数据。

%spark.pyspark

df = sqlContext.sql("SELECT * from TEST")
df.write.format("csv").mode("overwrite").save("\Users\testuser\testfolder\test.csv")

z.show(df)

【问题讨论】：

将\ 替换为\\ 或使用正斜杠...

【参考方案1】：

如果我没看错，你就在 Windows 中。在这种情况下，您需要将所需的前缀添加到您的路径中。您的路径将类似于 C:\Users\testuser\testfolder\test.csv

【讨论】：

这个我试过了，还是没有在C盘创建文件。