Spark streaming storm map reduce区别与联系

Posted 2022-01-10 taoweizhong

1.1  基本概念

Storm是一个流式计算框架，Storm采用Java和Clojure编写，其优点是全内存计算，所以它的定位是分布式实时计算。

Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark类似于Hadoop MapReduce的通用并行计算框架，Spark基于Map Reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。

Hadoop是实现了MapReduce的思想，将数据切片计算来处理大量的离线数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中，所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。

1.2  适用场景

1.2.1  Storm的适用场景：

1）流数据处理
Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。
2）分布式RPC。由于Storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式RPC框架来使用。

1.2.2  Spark适用场景：

1）多次操作特定数据集的应用场合 Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。

2）粗粒度更新状态的应用 由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。 总的来说Spark的适用面比较广泛且比较通用。

1.2.3  Hadoop适用场景：

1）海量数据的离线分析处理

2）大规模Web信息搜索

3）数据密集型并行计算

1.3  区别与联系

相对Hadoop，Strom的优势在于对大数据的实时数据处理上，因为hadoop在处理大数据过程中高延时的特点使得其面对实时数据缺乏足够的应对策略，目前Strom已经被广泛的应用在诸如实时推送系统，预警系统等很多场景中。

 

Storm 和 MapReduce区别：

Storm：进程、线程常驻内存运行，数据不进入磁盘，数据通过网络传递。

MapReduce：为大数据设计的离线批处理计算框架。

Storm 和  Spark Streaming 区别：

Storm：纯流式处理，专门为流式处理设计，数据传输模式更为简单，很多地方也更为高效，并不是不能做批处理，它也可以来做微批处理，来提高吞吐

Spark Streaming：微批处理，将RDD做的很小来用小的批处理来接近流式处理

 

1.4  总结

Hadoop适合于离线批量数据处理，对实时性要求极低的场景

Storm适合于实时流数据处理，实时性方面做得不错；

Spark介于Hadoop的Map-Reduce批处理框架和Storm的流处理框架之间，批处理方面性能优于Map-Reduce，流处理弱于Storm