大数据计算引擎发展的四个阶段
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据计算引擎发展的四个阶段相关的知识,希望对你有一定的参考价值。
根据一些公开资料整理,也许有失偏颇,仅供参考:
1.第一代
Hadoop 承载的 MapReduce
2.第二代
支持 DAG(有向无环图) 的框架: Tez 、 Oozie,主要还是还是批处理任务
3.第三代
Job 内部的 DAG(有向无环图) 支持(不跨越 Job),以及强调的实时计算:Spark
4.第四代
对流计算的支持,以及更一步的实时性:Flink
以上是关于大数据计算引擎发展的四个阶段的主要内容,如果未能解决你的问题,请参考以下文章