spark和 mapreduce的比较

Posted 2021-01-01 suwy

网上查阅一些资料，收集整理如下：

1、 通用性

spark更加通用，spark提供了transformation和action这两大类的多个功能api，另外还有流式处理sparkstreaming模块、图计算GraphX等等；mapreduce只提供了map和reduce两种操作，流计算以及其他模块的支持比较缺乏。

2、 内存利用和磁盘开销

MapReduce的设计：中间结果需要写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据，，可以提高可靠性，减少内存占用，但是牺牲了性能。

Spark默认把结果写到内存， Spark的DAGScheduler相当于一个改进版的MapReduce，如果计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。（但是，如果计算过程中涉及数据交换，Spark也是会把shuffle的数据写磁盘的！！！），还有一方面就是对shuffle操作的优化，spark提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少中间文件的生成，减少数据读取的IO开销。另外DAG相比MapReduce在大多数情况下可以减少shuffle次数。

3、 任务调度

mapreduce任务调度和启动开销大;

spark线程池模型减少task启动开销

4、 排序

Spark 避免不必要的排序操作，由于mapreduce会对数据进行排序，所以reduce操作必须等到文件全部生成并进行排序之后才可以进行。spark不是这种自动排序，因此可以生成一点，刷新ShuffleMapTask缓冲区到文件中，然后直接进行reduce。

Hadoop MapReduce是sort-based,进入combine()和reduce()的records必须先sort,这样的好处在于combine/reduce()可以处理大规模的数据,因为其输入数据可以通过外排得到(mapper对每段数据先做排序, reducer的shuffle对排好序的每段数据做归并) 。目前的Spark默认选择的是hash-based,通常使用 HashMap来对shuffle来的数据进行aggregate,不会对数据进行提前排序。如果用户需要经过排序的数据,那么需要自己调用类似sortByKey()的操作。

5、 迭代

mapreduce不适合迭代计算(如机器学习、图计算等)，交互式处理(数据挖掘) 和流式处理(点击日志分析)， 其中间结果需要落地，需要保存到磁盘，这样必然会有磁盘io操做，影响性能。

spark把运算的中间数据存放在内存，迭代计算效率更高，更适合做需要反复迭代的计算

mapreduce一个job里，只有一对M与R，而spark的一个job里可以有多个M多个R。mapreduce需要好多个job来完成的spark一个job就完成了，而且spark的除了shuffle算子需要落盘，其他的都不需要，省去了io开销。

6、 错误恢复机制

Spark的错误恢复机制在很多场景会比MR的错误恢复机制的代价低，这也是性能提升的一个点。

spark容错性高，它通过弹性分布式数据集RDD来实现高效容错，RDD是一组分布式的存储在节点内存中的只读性质的数据集，这些集合是弹性的，某一部分丢失或者出错，可以通过整个数据集的计算流程的血缘关系来实现重建；mapreduce的话容错可能只能重新计算了，成本较高。

另外spark提供cache机制，当步骤1-10中第10步计算失败，假如第九步进行了缓存，那么就可以不需要重新计算直接取缓存了。

7、 复杂性

spark框架和生态更为复杂，首先有RDD、血缘lineage（保存了RDD的依赖关系）、执行时的有向无环图DAG、stage划分等等，很多时候spark作业都需要根据不同业务场景的需要进行调优已达到性能要求；

mapreduce框架及其生态相对较为简单，对性能的要求也相对较弱，但是运行较为稳定，适合长期后台运行。

总结，spark生态更为丰富，功能更为强大、性能更佳，适用范围更广；mapreduce更简单、稳定性好、适合离线海量数据挖掘计算。