Hadoop面试题2020

Posted 2020-12-10 weiking

1. 元数据更新过程？
2. MapReduce的Shuffle过程？
3. HDFS的读的流程？
4. HDFS写的流程？
5. 如何将hadoop配置文件从一台机器同步到另一台机器上？
   1. scp -r  hadoop-2.7.3 hpsk@192.168.134.222:/opt/modules/
6. 如何终止yarn上正在运行的程序？
   1. yarn application -kill id
7. yarn的运行流程？
   1. 客户端提交运行程序请求给ResourceManager(8032)
   2. resourcemanager中的APP manager随机选择一台nodemanager启动APP master
   3. APP master 向APP manager申请资源
   4. APP manager通过resource schedule向APP master分配资源和指令（container：资源（每台机器能够使用的资源）和指令集）
   5. APP master在每台nodemanager上启动map task以及reduce task
   6. 将所有的资源及指令分配给每个nodemanager，每个nodemanager对自己负责的数据进行处理
   7. 每个map task及reduce task将处理后的结果返回给app master
   8. app master将总的结果反馈给APP manager及客户端