Spark速度比MapReduce快，不仅是内存计算

Posted 2021-04-19 大数据技术架构

作为Hadoop的 分布式计算框架，MapReduce扮演着分布式计算的任务，适用于离线批计算任务。Spark本身不具 备存储数据功能，通常基于HDFS。我们经常会在各类文章中看到类似这样的描述：Spark是基于内存计算的，其速度远快于Hadoop的MapReduce。本文旨在讨论这一结论背后的原因。

一、Spark内存计算 VS MapReduce读写磁盘

• MapReduce：MapReduce通常需要将计算的中间结果写入磁盘。map进程和reduce进程需要读取指定位置的数据作为输入，如果不将中间结果写入磁盘以保证可靠存储，一旦中间结果丢失或者损坏，MapReduce没有机制能够恢复中间结果。此外，一个job可能涉及到多个stage，而每个stage的处理结果都需要存储到HDFS中，这就必然导致频繁的磁盘IO；

• Spark：Spark不需要将计算的中间结果写入磁盘，这得益于Spark的RDD（弹性分布式数据集）和DAG（有向无环图），前者是Spark中引入的一种只读的、可扩展的数据结构，后者则记录了job的stage以及在job执行过程中父RDD和子RDD之间的依赖关系。中间结果能够以RDD的形式存放在内存中，一旦Job中的某个RDD丢失或者损坏，则可以根据DAG来重新计算得到该RDD。此外，在Spark中一个job的多个stage任务可以串联或者并联执行，stage的中间结果不需写入HDFS。

我们知道频繁的磁盘IO非常影响系统的处理性能，而基于内存计算则大大提升了处理性能。

二、其他区别

2.1 任务调度

• Hadoop的MapReduce是针对大文件的批处理而设计的，延迟较高；
• Hadoop的MapReduce的Map Task和Reduce Task都是进程级别的，而Spark Task则是基于线程 模型的（而mapreduce 中的 map 和 reduce 都是 jvm 进程，每次启动都需要重新申请资源，启动时间大概1s；想象一下如果是8096个block，那么单独启动map进程事件就需要8096秒，非常影响效率；）；

• Spark通过复用线程池中的线程来减少启动、关闭task所需要的开销。

2.2 执行策略

• MapReduce在shuffle前需要花费大量时间进行排序；

• Spark在shuffle时只有部分场景才需要排序，支持基于Hash的分布式聚合，更加省时；

2.3 数据格式和内存布局

• MapReduce Schema on Read处理方式会引起较大的处理开销；
• Spark RDD能支持粗粒度写操作，对于读操作则可以精确到每条record，因此RDD可以用来作为分布式索引。此外用户可以自定义分区策略，如Hash分区等。Shark和Spark SQL在Spark的基础上实现了列存储和列存储压缩。

往期推荐   点击标题跳转

1、

2、

3、

4、