如何在文本文件中保存 rdd 操作？斯卡拉/火花

Posted 2023-04-18

【中文标题】如何在文本文件中保存 rdd 操作？斯卡拉/火花

【英文标题】：How to save rdd action in textfile? Scala/Spark

【发布时间】：2017-10-15 16:18:10

【问题描述】：

我有一个 rdd 字符串，如何在文本文件上存储 Rdd 操作？或者如何通过控制台、驱动程序查看？

【参考方案1】：

yourRDD.saveAsTextFile("path")

.saveAsTextFile() 方法将数据写入简单的文本文件，其中每个 RDD 元素调用 .toString() 方法，每行写入一个元素。输出的文件数等于正在保存的RDD的分区数。