20180524早课记录17-Hadoop
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了20180524早课记录17-Hadoop相关的知识,希望对你有一定的参考价值。
1.MapReduce谈谈你们的理解
执行引擎 计算
2.Map是什么
map:映射函数
3.Reduce是什么
reduce:规约函数
4.shuffle谈谈你们的理解
相当于洗牌 按key进行分组
5.wordcount那副图,脑子是否有印象?
不太深入
6.输入分片一般和什么有关?多少个分片就可以有多少个map task,对不对?
块大小 不对 会合并小文件
7.mapreduce架构设计中应用程序AM和task都运行在哪个抽象概念中?
container
8.假如hdfs的文件都是小文件,那么就会有多个map task,我们生产上一般设计时,是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小(了解题)
是的
9.NM节点的内存和容器的内存参数哪几个?
yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores
10.容器是使用物理core还是虚拟core
虚拟core
11.总结一下mapreduce架构设计 wordcount博客 容器的概念,内存和vcore的参数设置
以上是关于20180524早课记录17-Hadoop的主要内容,如果未能解决你的问题,请参考以下文章