20180528早课记录19-Hadoop

Posted 2020-11-18

1.yarn的进程哪两个?

NodeManager,ResourceManager

2.rm进程包含哪两个?

Applications Master, Resource Scheduler

3.容器什么单词? 是在NM节点上还是RM节点?

container, 在NM节点

4.内存参数和CPU参数 能记得几个?假如让你们去官网搜，你们会知道以什么关键词搜搜吗

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores

5.作业程序的am是运行在nm节点的容器里吗？

是的

6.谈谈你们现阶段对shuffle的理解

shuffle是洗牌的意思 含义是按key进行分组

7.那么我们提交一个wordcount到yarn，那么那些log日志，仔细看看，其中有一步是spilt，那么一般和什么有关

和块大小有关

8.yarn杀死job的命令是什么

yarn application -kill jobid

9.hdfs一个文件130M，副本为3，请问多少块? 实际存储空间多少

6个块 390M

10.hdfs读写流程和yarn的作业工作流程自己想想，是否会?脑子是否有图?

理解还不够全面

11.一般企业里，DN和NM节点部署在同一台机器上，是为什么?（思考题）

数据本地化