Spark IMF传奇行动第21课：从Spark架构中透视Job

Posted 2020-06-10

版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS

 

昨晚听了王家林老师的Spark IMF传奇行动第21课：从Spark架构中透视Job，笔记如下：

默认一个worker有一个executor，也可以设置多个，当cpu利用不足时。

并行度也是被继承的

当Spark集群启动的时候，首先启动Master进程负责整个集群资源管理和分配并接受作业的提交且为作业分配计算资源，每个工作节点默认启动一个Worker Process来管理当前节点的mem,cpu等计算资源并且向Master汇报Worker还能正常工作

spark是一个更加精致和高效的Mapreduce思想的具体实现。

Stage必须从前往后执行！Spark的一个应用程序中可以因为不同的action产生众多的job,每个job至少有一个Stage.

本讲课程作用：巩固前面内容并开启下面Spark的密码之旅！！

 

后续课程可以参照新浪微博 王家林_DT大数据梦工厂：http://weibo.com/ilovepains

王家林  中国Spark第一人,微信公共号DT_Spark

 

转发请写明出处。