spark下dataframe转为rdd格式
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark下dataframe转为rdd格式相关的知识,希望对你有一定的参考价值。
dataframe可以实现很多操作,但是存储到本地的时候,只能存 parquest格式
需要存储源格式,需要转换为rdd类型
将dataframe中的每一行都map成有逗号相连的string,就变为了一个rdd
本文出自 “wtt561111” 博客,请务必保留此出处http://tuntunwang.blog.51cto.com/5596095/1906509
以上是关于spark下dataframe转为rdd格式的主要内容,如果未能解决你的问题,请参考以下文章
在 Spark RDD 和/或 Spark DataFrames 中重塑/透视数据
Spark中的DataFrame,Dataset和RDD之间的区别