spark下dataframe转为rdd格式

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark下dataframe转为rdd格式相关的知识,希望对你有一定的参考价值。

dataframe可以实现很多操作,但是存储到本地的时候,只能存 parquest格式

需要存储源格式,需要转换为rdd类型

将dataframe中的每一行都map成有逗号相连的string,就变为了一个rdd


本文出自 “wtt561111” 博客,请务必保留此出处http://tuntunwang.blog.51cto.com/5596095/1906509

以上是关于spark下dataframe转为rdd格式的主要内容,如果未能解决你的问题,请参考以下文章

在 Spark RDD 和/或 Spark DataFrames 中重塑/透视数据

Spark中的DataFrame,Dataset和RDD之间的区别

如何在不产生 .rdd 成本的情况下检查 Spark DataFrame 的分区数

spark TopN问题:dataframe和RDD比较

Spark——DataFrame与RDD互操作方式

Spark中将RDD转换成DataFrame的两种方法