Spark的几个问题

Posted 2020-11-03 zhangzl419

1、application是由driver和executor组成的，executor可以分成task，task又可以分成为stage。当一个任务提交给spark之后，spark机群的主节点会出现driver进程，从节点会出现executor进程。

2、standalone部署之后，主节点进程是master，工作节点进程是worker

3、spark只有计算功能，它没有存储功能，所以它必须依赖于hdfs，在安装spark之前，必须先安装hadoop。

4、有了spark，就可以写spark程序来做数据处理工作了，就不需要用MapReduce来做了，因为spark的计算速度是MapReduce的100倍以上。