《深入理解Spark-核心思想与源码分析》第五章任务提交与执行

Posted 2021-02-08 sunrunzhi

即欲捭之贵周，即欲阖之贵密。周密之贵，微而与道相随。---《鬼谷子》

解释：译文：如果要分析问题，关键在于周详，如果要综合归纳问题，关键在于严密。周详严密的关键在于精深而与道相随。

解词：捭阖（bǎihé）：开合。意为运用某些计策和手段，使双方联合或分化。含此义的成语有“纵横捭阖”。

　　解析：《鬼谷子》是一部充满着谋略和智慧的名著。“即欲捭之贵周，即欲阖之贵密”十分鲜明地体现了此书的特点。文中首先提出了“捭”和“阖”，这是两种不同的克敌制胜的计策。然后，再提出运用这两种计策必须具有的智慧，即“捭”要贵于周详，“阖”要贵于严密。在此基础上，又进一步指出，“周密之贵”在于“微而与道相随”。“微”意在“周密”之上，再进一步精深严密。最后提高到“道”上，则是理性的升华。

　　读此名句，在于有助于谋略的深化和智慧的提升。

5.1任务概述

1.完成RDD的转换及DAG的构建

2.完成finalStage的创建与Stage的划分，做好Stage与Task的准备工作后，最后提交Stage与Task。

3.使用集群管理器分配资源与任务调度,，对于失败的有重试和容错机制。

4.执行任务

5.2 广播Hadoop的配置信息