spark运行模式
Posted 异想天开
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark运行模式相关的知识，希望对你有一定的参考价值。
Spark有以下四种运行模式：
- local：本地单进程模式，用于本地开发测试Spark代码;
- standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行;
- on yarn/mesos：运行在yarn/mesos等资源管理框架之上，yarn/mesos提供资源管理，spark提供计算调度，并可与其他计算框架(如MapReduce/MPI/Storm)共同运行在同一个集群之上;
- on cloud(EC2)：运行在AWS的EC2之上
可以参考：http://www.36dsj.com/archives/8001和http://www.ituring.com.cn/tupubarticle/5373
以上是关于spark运行模式的主要内容，如果未能解决你的问题，请参考以下文章