[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子相关的知识,希望对你有一定的参考价值。

[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子

sqlContext = HiveContext(sc)

peopleDF = sqlContext.read.json("people.json")

peopleRDD = peopleDF.map(lambda row: (row.pcode,row.name))

peopleRDD.take(5)

 

Out[5]: 
[(u‘94304‘, u‘Alice‘),
(u‘94304‘, u‘Brayden‘),
(u‘10036‘, u‘Carla‘),
(None, u‘Diana‘),
(u‘94104‘, u‘Etienne‘)]

 

peopleByPCode= peopleRDD.groupByKey()

peopleByPCode.take(5)

 

[(u‘10036‘, <pyspark.resultiterable.ResultIterable at 0x7f0d683a2290>),
(u‘94104‘, <pyspark.resultiterable.ResultIterable at 0x7f0d683a2690>),
(u‘94304‘, <pyspark.resultiterable.ResultIterable at 0x7f0d683a2490>),
(None, <pyspark.resultiterable.ResultIterable at 0x7f0d683a25d0>)]

 

以上是关于[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子的主要内容,如果未能解决你的问题,请参考以下文章

[Spark][Python]spark 从 avro 文件获取 Dataframe 的例子

如何在 Spark 中使用 Python 查找 DataFrame 中的分区数以及如何在 Spark 中使用 Python 在 DataFrame 中创建分区

[Spark][Python][RDD][DataFrame]从 RDD 构造 DataFrame 例子

[Spark][Python]DataFrame select 操作例子

[Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子

[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子