[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子相关的知识，希望对你有一定的参考价值。
[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子
$ hdfs dfs -cat people.json
{"name":"Alice","pcode":"94304"}
{"name":"Brayden","age":30,"pcode":"94304"}
{"name":"Carla","age":19,"pcoe":"10036"}
{"name":"Diana","age":46}
{"name":"Etienne","pcode":"94104"}
$pyspark
sqlContext = HiveContext(sc)
peopleDF = sqlContext.read.json("people.json")
peopleRDD = peopleDF.rdd
peopleRDD.take(5)
[Row(age=None, name=u‘Alice‘, pcode=u‘94304‘, pcoe=None),
Row(age=30, name=u‘Brayden‘, pcode=u‘94304‘, pcoe=None),
Row(age=19, name=u‘Carla‘, pcode=None, pcoe=u‘10036‘),
Row(age=46, name=u‘Diana‘, pcode=None, pcoe=None),
Row(age=None, name=u‘Etienne‘, pcode=u‘94104‘, pcoe=None)]
以上是关于[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子的主要内容，如果未能解决你的问题，请参考以下文章
[Spark][Python]spark 从 avro 文件获取 Dataframe 的例子
如何在 Spark 中使用 Python 查找 DataFrame 中的分区数以及如何在 Spark 中使用 Python 在 DataFrame 中创建分区
[Spark][Python][RDD][DataFrame]从 RDD 构造 DataFrame 例子
[Spark][Python]DataFrame select 操作例子