面试系列四 之 项目涉及技术Hadoop

Posted 2021-06-28 chbxw

1.1、Hadoop常用端口号

• dfs.namenode.http-address:50070
• dfs.datanode.http-address:50075
• SecondaryNameNode辅助名称节点端口号：50090
• dfs.datanode.address:50010
• fs.defaultFS:8020 或者9000
• yarn.resourcemanager.webapp.address:8088
• 历史服务器web访问端口：19888

1.2、Hadoop配置文件以及简单的Hadoop集群搭建

（1）配置文件：

• core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
• hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves

（2）简单的集群搭建过程：

• JDK安装
• 配置SSH免密登录
• 配置hadoop核心文件:
• 格式化namenode

1.3、HDFS读流程和写流程

  这个很重要， 虽然现在Hadoop已经到了3.x, 存储也越来越多样化，但是HDFS还是主流的存储，我们需要知道HDFS的读写流程。

1.3.1、HDFS 读流程

1.3.2、HDFS 写流程

1.3.3、MapReduce流程

1.3.3.1、Shffule机制

1.4、Hadoop优化

1.4.1、HDFS小文件影响

• （1）影响NameNode的寿命，因为文件元数据存储在NameNode的内存中
• （2）影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务

1.4.2、数据输入小文件处理：

• （1）合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储成SequenceFile文件。
• （2）采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景。
• （3）对于大量小文件Job，可以开启JVM重用。

1.4.3、Map阶段

• （1）增大环形缓冲区大小。由100m扩大到200m
• （2）增大环形缓冲区溢写的比例。由80%扩大到90%
• （3）减少对溢写文件的merge次数。
• （4）不影响实际业务的前提下，采用Combiner提前合并，减少 I/O。

1.4.4、Reduce阶段

• （1）合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致 Map、Reduce任务间竞争资源，造成处理超时等错误。
• （2）设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。
• （3）规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
• （4）增加每个Reduce去Map中拿数据的并行数
• （5）集群性能可以的前提下，增大Reduce端存储数据内存的大小。

1.4.5、IO传输

• （1）采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZOP压缩编码器。
• （2）使用SequenceFile二进制文件

1.4.6、整体

• （1）MapTask默认内存大小为1G，可以增加MapTask内存大小为4-5g
• （2）ReduceTask默认内存大小为1G，可以增加ReduceTask内存大小为4-5g
• （3）可以增加MapTask的cpu核数，增加ReduceTask的CPU核数
• （4）增加每个Container的CPU核数和内存大小
• （5）调整每个Map Task和Reduce Task最大重试次数