Spark的“One stack to rule them all”是啥意思?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark的“One stack to rule them all”是啥意思?相关的知识,希望对你有一定的参考价值。

参考技术A 在Spark出现之前,要在一个组织内同时完成数种大数据分析任务,就不得不与多套特化系统打交道,一方面引入了不容小觑的运维复杂性,另一方面还免不了要在多个系统间频繁进行代价高昂的数据转储(ETL)。AMPLab在介绍以Spark为核心的BDAS时常说的一句话是:one stack to rule them all,也就是说可以在一套软件栈内完成前述各种大数据分析任务。相对于MapReduce上的批量计算、迭代型计算以及基于Hive的SQL查询,Spark更是可以带来一到两个数量级的效率提升,在传统MapReduce近乎不可能的交互式即席查询也因而得以实现。

当然,你可以看王家林老师录制的Spark视频,里面讲解的很详细。51CTO学院里有免费的。本回答被提问者采纳

以上是关于Spark的“One stack to rule them all”是啥意思?的主要内容,如果未能解决你的问题,请参考以下文章

spark提交参数解析

科普Spark,Spark是啥,如何使用Spark

Spark面试题——Spark资源调优

Spark系列

Spark 内核 Spark 内核解析-下

Spark-01 spark简介