有没有办法将 Spark 数据帧写入 .dat 文件？

Posted 2023-03-17

【中文标题】有没有办法将 Spark 数据帧写入 .dat 文件？

【英文标题】：Is there a way to write a Spark dataframe to a .dat file?

【发布时间】：2020-09-19 06:59:01

【问题描述】：

我试过这个，但没有用。据我了解，Spark 不支持.dat 文件格式。我不想将文件写为.csv 或.json，然后稍后通过shell 脚本进行转换。

a.write.format("dat").save(outputPath)

【问题讨论】：

DAT 是一种泛型类型，只有创建它的应用程序才能理解。首先可以是二进制或文本，具体取决于应用程序。因此，有效的 Spark 将无法理解这种格式，因为每个应用程序都会有所不同。直到和除非它以 Spark 支持的格式之一存储

没有内置或直接支持您正在寻找的内容

【参考方案1】：

Spark 格式函数不接受“dat”作为参数。您可以在文档中获得更多信息：https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html

很抱歉，您可以做的最简单的事情是创建 csv 并稍后将其转换为 dat。