2021年大数据Hadoop（三十）：Hadoop3.x的介绍
Posted Lansonli
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2021年大数据Hadoop（三十）：Hadoop3.x的介绍相关的知识，希望对你有一定的参考价值。
全网最详细的Hadoop文章系列，强烈建议收藏加关注！
后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。
目录
本系列历史文章
2021年大数据Hadoop（二十九）：关于YARN常用参数设置
2021年大数据Hadoop（二十八）：YARN的调度器Scheduler
2021年大数据Hadoop（二十六）：YARN三大组件介绍
2021年大数据Hadoop（二十五）：YARN通俗介绍和基本架构
2021年大数据Hadoop（二十四）：MapReduce高阶训练
2021年大数据Hadoop（二十三）：MapReduce的运行机制详解
2021年大数据Hadoop（二十二）：MapReduce的自定义分组
2021年大数据Hadoop（二十一）：MapReuce的Combineer
2021年大数据Hadoop（二十）：MapReduce的排序和序列化
2021年大数据Hadoop（十九）：MapReduce分区
2021年大数据Hadoop（十八）：MapReduce程序运行模式和深入解析
2021年大数据Hadoop（十七）：MapReduce编程规范及示例编写
2021年大数据Hadoop（十六）：MapReduce计算模型介绍
2021年大数据Hadoop（十五）：Hadoop的联邦机制 Federation
2021年大数据Hadoop（十三）：HDFS意想不到的其他功能
2021年大数据Hadoop（十一）：HDFS的元数据辅助管理
2021年大数据Hadoop（八）：HDFS的Shell命令行使用
2021年大数据Hadoop（七）：HDFS分布式文件系统简介
2021年大数据Hadoop（六）：全网最详细的Hadoop集群搭建
2021年大数据Hadoop（二）：Hadoop发展简史和特性优点
前言
2021年全网最详细的大数据笔记，轻松带你从入门到精通，该栏目每天更新，汇总知识分享
Hadoop3.x的介绍
介绍
由于Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，即hadoop 3.0。Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。
hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。Hadoop3.x改变最大的是hdfs,hdfs 通过最近block块计算，根据最近计算原则，本地block块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果，比Spark快10倍。
Hadoop 3.0新特性
Hadoop 3.0在功能和性能方面，对hadoop内核进行了多项重大改进，主要包括：
通用性
1、精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现。
2、Classpath isolation：以防止不同版本jar包冲突
3、Shell脚本重构： Hadoop 3.0对Hadoop的管理脚本进行了重构，修复了大量bug，增加了新特性。
HDFS
Hadoop3.x中Hdfs在可靠性和支持能力上作出很大改观：
1、HDFS支持数据的擦除编码，这使得HDFS在不降低可靠性的前提下，节省一半存储空间。
2、多NameNode支持，即支持一个集群中，一个active、多个standby namenode部署方式。
MapReduce
Hadoop3.X中的MapReduce较之前的版本作出以下更改：
1、Tasknative优化：为MapReduce增加了C/C++的map output collector实现（包括Spill，Sort和IFile等），通过作业级别参数调整就可切换到该实现上。对于shuffle密集型应用，其性能可提高约30%。
2、MapReduce内存参数自动推断。在Hadoop 2.0中，为MapReduce作业设置内存参数非常繁琐，一旦设置不合理，则会使得内存资源浪费严重，在Hadoop3.0中避免了这种情况。
HDFS纠删码
在Hadoop3.X中，HDFS实现了Erasure Coding这个新功能。Erasure coding纠删码技术简称EC，是一种数据保护技术.最早用于通信行业中数据传输中的数据恢复，是一种编码容错技术。
它通过在原始数据中加入新的校验数据，使得各个部分的数据产生关联性。在一定范围的数据出错情况下，通过纠删码技术都可以进行恢复。
hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3，hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式。
与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有1.4 倍的空间开销；然而HDFS副本则会有3倍的空间开销。
MapReduce优化
Hadoop3.x中的MapReduce添加了Map输出collector的本地实现，对于shuffle密集型的作业来说，这将会有30%以上的性能提升。
支持多个NameNodes
最初的HDFS NameNode high-availability实现仅仅提供了一个active NameNode和一个Standby NameNode；并且通过将编辑日志复制到三个JournalNodes上，这种架构能够容忍系统中的任何一个节点的失败。
然而，一些部署需要更高的容错度。我们可以通过这个新特性来实现，其允许用户运行多个Standby NameNode。比如通过配置三个NameNode和五个JournalNodes，这个系统可以容忍2个节点的故障，而不是仅仅一个节点。
默认端口更改
在hadoop3.x之前，多个Hadoop服务的默认端口都属于Linux的临时端口范围（32768-61000）。这就意味着用户的服务在启动的时候可能因为和其他应用程序产生端口冲突而无法启动。
现在这些可能会产生冲突的端口已经不再属于临时端口的范围，这些端口的改变会影响NameNode, Secondary NameNode, DataNode以及KMS。
Namenode ports: 50470 --> 9871, 50070--> 9870, 8020 --> 9820
Secondary NN ports: 50091 --> 9869,50090 --> 9868
Datanode ports: 50020 --> 9867, 50010--> 9866, 50475 --> 9865, 50075 --> 9864
Kms server ports: 16000 --> 9600 (原先的16000与HMaster端口冲突)
YARN 资源类型
YARN 资源模型（YARN resource model）已被推广为支持用户自定义的可数资源类型（support user-defined countable resource types），不仅仅支持 CPU 和内存。
本博客大数据系列文章会一直每天更新，记得收藏加关注喔~
以上是关于2021年大数据Hadoop（三十）：Hadoop3.x的介绍的主要内容，如果未能解决你的问题，请参考以下文章
2021年大数据Hadoop（十五）：Hadoop的联邦机制 Federation