寒假学习进度-3

Posted liujinxin123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了寒假学习进度-3相关的知识,希望对你有一定的参考价值。

RDD编程初级实践

函数名 目的 示例 结果
reduceByKey(f) 合并具有相同key的值 rdd.reduceByKey( ( x,y) => x+y ) { (1,2) , (3,10) }
groupByKey() 对具有相同key的值分组 rdd.groupByKey() { (1,2) , (3, [4,6] ) }
mapValues(f) 对键值对中的每个值(value)应用一个函数,但不改变键(key) rdd.mapValues(x => x+1) { (1,3) , (3,5) , (3,7) }
combineByKey( createCombiner, mergeValue, mergeCombiners, partitioner) 使用不同的返回类型合并具有相同键的值 下面有详细讲解 -
flatMapValues(f) 对键值对RDD中每个值应用返回一个迭代器的函数,然后对每个元素生成一个对应的键值对。常用语符号化 rdd.flatMapValues(x => ( x to 5 ))
{ (1, 2) , (1, 3) , (1, 4) , (1, 5) , (3, 4) , (3, 5) }

keys() 获取所有key rdd.keys() {1,3,3}
values() 获取所有value rdd.values() {2,4,6}
sortByKey() 根据key排序 rdd.sortByKey() { (1,2) , (3,4) , (3,6) }
原文链接:https://blog.csdn.net/hsg77/article/details/87277040

以上是关于寒假学习进度-3的主要内容,如果未能解决你的问题,请参考以下文章

寒假学习进度06

寒假学习进度15

2020/1/18寒假自学——学习进度报告3

寒假学习进度四

寒假学习进度十二

2020年寒假学习进度第十五天