如何在Spark Scala中以CSV格式编写不同的布局
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何在Spark Scala中以CSV格式编写不同的布局相关的知识,希望对你有一定的参考价值。
我有数据框中的详细记录,需要在.csv文件中写入自定义标题和预告片记录,如标题和记录类型的“记录类型(00)+日期+时间”(100)+预告片中详细记录的计数。如何在csv文件中添加3种不同的布局?
我的文件布局
00/20190413/230000
12 / asa / adf / sheep / 3434 / 34k
13 / xxx / yyy / gggf / dafad / 3430/35
99/00000002
答案
这是不可能的。 https://spark.apache.org/docs/2.3.1/api/java/org/apache/spark/sql/DataFrameWriter.html列出了您的csv选项。
以上是关于如何在Spark Scala中以CSV格式编写不同的布局的主要内容,如果未能解决你的问题,请参考以下文章
在 pyspark 中以 csv 格式读取 excel 文件