2月9日学习记录

Posted lq13035130506

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了2月9日学习记录相关的知识,希望对你有一定的参考价值。

1,背诵单词:obstacle:障碍物  gum:口香糖  fridge:电冰箱  combination:结合  fasten:系牢  purchase:购买  leak:漏出  inhabitant:居民  express:快递  conceal:隐瞒   digest:消化  beggar:乞丐  apology:道歉认错  suspicion:怀疑  aid:帮助  yield:投降  dew:水珠  transmit:传输  stable:稳定的  spot:点

2,做spark实验4,回顾了之前学习的RDD操作等

 

map(func)

 

 作用:返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成

 

 

 mapPartitions(func) 

 

 作用:类似于map,但独立地在RDD的每一个分片上运行,因此在类型为TRDD上运行时,func的函数类型必须是Iterator[T] => Iterator[U]假设有N个元素M个分区,那么map的函数的将被调用N,mapPartitions被调用M,一个函数一次处理所有分区。

 

 mapPartitionsWithIndex(func) 

 

 作用:类似于mapPartitions,但func带有一个整数参数表示分片的索引值,因此在类型为TRDD上运行时,func的函数类型必须是(Int, Interator[T]) => Iterator[U]

 

flatMap(func) 

 

 作用:类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素)

 

 map()mapPartition()的区别

 

1. map():每次处理一条数据。

 

2. mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM

 

3. 开发指导:当内存空间较大的时候建议使用mapPartition(),以提高处理效率。

 

glom

 

 作用:将每一个分区形成一个数组,形成新的RDD类型时RDD[Array[T]]

 

groupBy(func)

 

作用:分组,按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器。

 

filter(func) 

 

 作用:过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成。

 

sample(withReplacement, fraction, seed) 

 

 作用:以指定的随机种子随机抽样出数量为fraction的数据,withReplacement表示是抽出的数据是否放回,true为有放回的抽样,false为无放回的抽样seed用于指定随机数生成器种子。

 

 distinct([numTasks])) 

 

 作用:对源RDD进行去重后返回一个新的RDD默认情况下,只有8个并行任务来操作,但是可以传入一个可选的numTasks参数改变它。

 

coalesce(numPartitions) 

 

 作用:缩减分区数,用于大数据集过滤后,提高小数据集的执行效率。

 

 repartition(numPartitions) 

 

 作用:根据分区数,重新通过网络随机洗牌所有数据。

 

coalescerepartition的区别

 

 coalesce重新分区,可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定。

 

repartition实际上是调用的coalesce,默认是进行shuffle的。

 

 sortBy(func,[ascending], [numTasks]) 

 

 作用;使用func先对数据进行处理,按照处理后的数据比较结果排序,默认为正序。

 

 pipe(command, [envVars]) 

 

作用:管道,针对每个分区,都执行一个shell脚本,返回输出的RDD

 

注意:脚本需要放在Worker节点可以访问到的位置

 

union(otherDataset) 

作用:对源RDD和参数RDD求并集后返回一个新的RDD

 

subtract (otherDataset) 

 

 作用:计算差的一种函数,去除两个RDD中相同的元素,不同的RDD将保留下来

 

 intersection(otherDataset) 

 

 作用:对源RDD和参数RDD求交集后返回一个新的RDD

 

 cartesian(otherDataset) 

 

 作用:笛卡尔积(尽量避免使用)

 

 zip(otherDataset)

 

作用:将两个RDD组合成Key/Value形式的RDD,这里默认两个RDDpartition数量以及元素数量都相同,否则会抛出异常。

 

partitionBy

 

 作用:对pairRDD进行分区操作,如果原有的partionRDD和现有的partionRDD是一致的话就不进行分区, 否则会生成ShuffleRDD,即会产生shuffle过程。

 

 groupByKey

 

作用:groupByKey也是对每个key进行操作,但只生成一个sequence

 

reduceByKey(func, [numTasks]) 

 

在一个(K,V)RDD上调用,返回一个(K,V)RDD,使用指定的reduce函数,将相同key的值聚合到一起,reduce任务的个数可以通过第二个可选的参数来设置。

 

 reduceByKeygroupByKey的区别

 

1. reduceByKey:按照key进行聚合,在shuffle之前有combine(预聚合)操作,返回结果是RDD[k,v].

 

2. groupByKey:按照key进行分组,直接进行shuffle

 

3. 开发指导:reduceByKeygroupByKey,建议使用。但是需要注意是否会影响业务逻辑。

 

aggregateByKey

 

参数:(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U)

 

1. 作用:在kv对的RDD中,,按keyvalue进行分组合并,合并时,将每个value和初始值作为seq函数的参数,进行计算,返回的结果作为一个新的kv对,然后再将结果按照key进行合并,最后将每个分组的value传递给combine函数进行计算(先将前两个value进行计算,将返回结果和下一个value传给combine函数,以此类推),将key与计算结果作为一个新的kv对输出。

 

2. 参数描述:

 

1zeroValue给每一个分区中的每一个key一个初始值;

 

2seqOp函数用于在每一个分区中用初始值逐步迭代value

 

3combOp函数用于合并每个分区中的结果。

 

oldByKey

 

参数:(zeroValue: V)(func: (V, V) => V): RDD[(K, V)]

作用:aggregateByKey的简化操作,seqopcombop相同

 

combineByKey[C] 

 

参数:(createCombiner: V => C,  mergeValue: (C, V) => C,  mergeCombiners: (C, C) => C)

 

作用:对相同K,把V合并成一个集合

参数描述:

 

1createCombiner: combineByKey() 会遍历分区中的所有元素,因此每个元素的键要么还没有遇到过,要么就和之前的某个元素的键相同。如果这是一个新的元素,combineByKey()会使用一个叫作createCombiner()的函数来创建那个键对应的累加器的初始值

 

2mergeValue: 如果这是一个在处理当前分区之前已经遇到的键,它会使用mergeValue()方法将该键的累加器对应的当前值与这个新的值进行合并

 

3mergeCombiners: 由于每个分区都是独立处理的, 因此对于同一个键可以有多个累加器。如果有两个或者更多的分区都有对应同一个键的累加器, 就需要使用用户提供的 mergeCombiners() 方法将各个分区的结果进行合并。

 

sortByKey([ascending], [numTasks]) 

 

 作用:在一个(K,V)RDD上调用,K必须实现Ordered接口,返回一个按照key进行排序的(K,V)RDD

 

 mapValues

 

针对于(K,V)形式的类型只对V进行操作

 

 join(otherDataset, [numTasks]) 

 

 作用:在类型为(K,V)(K,W)RDD上调用,返回一个相同key对应的所有元素对在一起的(K,(V,W))RDD

 

 cogroup(otherDataset, [numTasks]) 

 

作用:在类型为(K,V)(K,W)RDD上调用,返回一个(K,(Iterable<V>,Iterable<W>))类型的RDD

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3,遇到的问题:

 

4,明天计划:学习spark和做实验

 

以上是关于2月9日学习记录的主要内容,如果未能解决你的问题,请参考以下文章

19年12月9日学习记录

2月2日学习记录

2月5日学习记录

2月3日学习记录

2月6日学习记录

2月12日学习记录