待补充Spark 集群模式 && Spark Job 部署模式

Posted share23

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了待补充Spark 集群模式 && Spark Job 部署模式相关的知识,希望对你有一定的参考价值。


 

0. 说明

  Spark 集群模式 && Spark Job 部署模式

 

 


 

1. Spark 集群模式

  [ Local ]
  使用一个 JVM 模拟 Spark 集群


  [ Standalone ]
  启动 master + worker 进程


  [ mesos ]
  --


  [ Yarn ]
  --

 

 


 

2. Spark Job 部署模式

  [ Client ]
  Driver 程序运行在 Client 端。


  [ Cluster ]
  Driver 程序运行在某个 worker 上。
  spark-shell 只能以 Client 方式启动。

 

  详情查看  Spark job 部署模式

 

 

 


 












以上是关于待补充Spark 集群模式 && Spark Job 部署模式的主要内容,如果未能解决你的问题,请参考以下文章

Python之路-字符编码&数据类型补充(待更新)

Spark介绍及基于YARN模式的Spark集群部署

关于Spark下的standalone模式的搭建

原创 Hadoop&Spark 动手实践 5Spark 基础入门,集群搭建以及Spark Shell

[WUSTCTF2020]Web Writeup(待补充)

JS额外知识补充:with语句&eval语句&严格模式