分布式的并行计算技术

Posted 2020-08-08

流计算：

　　Strom：针对“边达到边计算”的实时流计算框架，可在一个时间窗口上对数据流进行在线实时分析。

　　同样的还有Yahoo提出的S4系统。

批计算：

　　Hadoop：是一个提供分布式存储和计算的软件框架，它具有无共享、高可用、弹性可扩展的特点，非常适合处理海量数据。先存储再计算。

实时批计算：

　　Spark：是基于内存计算、支持快速迭代的的大数据并行计算框架。适用于一切的分布式处理方案。

　　Spark比MapReduce更加高效，数据处理速度更快。可以作为MapReduce的替代方案，并且兼容HDFS、Hive等分布式存储层，可以融入Hadoop的生态系统，以弥补MapReduce的不足。

图计算：

　　Pregel：面向图结构优化。

交互查询：

　　Dremel：快速交互查询。