如何在Spark Scala中以CSV格式编写不同的布局

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何在Spark Scala中以CSV格式编写不同的布局相关的知识,希望对你有一定的参考价值。

我有数据框中的详细记录,需要在.csv文件中写入自定义标题和预告片记录,如标题和记录类型的“记录类型(00)+日期+时间”(100)+预告片中详细记录的计数。如何在csv文件中添加3种不同的布局?

我的文件布局

00/20190413/230000

12 / asa / adf / sheep / 3434 / 34k

13 / xxx / yyy / gggf / dafad / 3430/35

99/00000002

答案

这是不可能的。 https://spark.apache.org/docs/2.3.1/api/java/org/apache/spark/sql/DataFrameWriter.html列出了您的csv选项。

以上是关于如何在Spark Scala中以CSV格式编写不同的布局的主要内容,如果未能解决你的问题,请参考以下文章

在 pyspark 中以 csv 格式读取 excel 文件

如何使用 scala/python/spark 在 CSV 文件中创建新的时间戳(分钟)列

scala 如何读取 csv 文件

scala 如何读取 csv 文件

scala 如何读取 csv 文件

如何读取 CSV 文件,然后在 Spark Scala 中将其保存为 JSON?