大数据计算引擎发展的四个阶段

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据计算引擎发展的四个阶段相关的知识,希望对你有一定的参考价值。

根据一些公开资料整理,也许有失偏颇,仅供参考:

 

1.第一代

Hadoop 承载的 MapReduce

2.第二代

支持 DAG(有向无环图) 的框架: Tez 、 Oozie,主要还是还是批处理任务

3.第三代

Job 内部的 DAG(有向无环图) 支持(不跨越 Job),以及强调的实时计算:Spark

4.第四代

对流计算的支持,以及更一步的实时性:Flink

以上是关于大数据计算引擎发展的四个阶段的主要内容,如果未能解决你的问题,请参考以下文章

互联网架构的发展

云计算和大数据的方向以及发展前景如何

计算机之发展简史体系与结构层次与编程语言计算单位编码等简介

OPPO大数据离线计算平台架构演进

奇点云数据中台技术汇| DataSimba系列之计算引擎篇

学习大数据关键技术