为什么spark比mapreduce处理数据快

Posted 2021-04-19 ItStar

落地方式不同

mapreduce任务每一次处理完成之后所产生的结果数据只能够保存在磁盘，后续有其他的job需要依赖于前面job的输出结果，这里就只能够进行大量的io操作获取得到，性能就比较低。

spark任务每一次处理的完成之后所产生的结果数据可以保存在内存中，后续有其他的job需要依赖于前面job的输出结果，这里就可以直接从内存中获取得到，大大减少磁盘io操作，性能非常高。

处理方式不同

mapreduce的任务是以进程的方式运行在yarn集群中，比如有100个MapTask要运行，这里就需要开启100个进程。

spark的任务是以线程的方式运行在worker节点的executor进程中，比如有100个MapTask要运行，这里需要开启100线程就可以了，这里还可以这样极端一点：可以只开启一个进程，在这个进程中运行100个线程就ok了。开启一个进程与一个线程的代价（资源调度和时间）是不一样。开启一个进程是远远大于线程所需要的时间。

shuffle操作不同

消除了冗余的MapReduce阶段Hadoop的shuffle操作一定连着完整的MapReduce操作，冗余繁琐。而Spark基于RDD提供了丰富的算子操作，且reduce操作产生shuffle数据，可以缓存在内存中。