『教程』Hadoop基础

Posted 2021-04-13 万码学堂

本教程系根据万码学堂崔博士课堂讲义整理，共分四篇连载，带领大家一步步认识Hadoop的基础知识，最后通过实例让大家掌握Hadoop实际应用。喜欢的小伙伴请关注我，后续还会有更多更好的教程送给大家。

Hadoop基本原理

1、 HDFS

2、MapReduce

3、YARN

YARN（Yet Another Resource Negotiator）Hadoop2.0版本引入的资源管理组件。最基本的想法是将原JobTracker主要的资源管理和job调度/监视功能分开作为两个单独的守护进程

4、Hadoop的优点

1）、易用性。Hadoop运行在由一般商用机器构成的大型集群上。

2）、可靠性。通过备份和失败任务重新分配的方式应对节点失效问题。

3）、可伸缩性。Hadoop通过增加集群节点，可以线性地拓展以处理更大数据集。

4）、灵活性。Map和Reduce的抽象允许用户快速编写出适用于不同场景的并行代码。

5）、高效性。通过数据迁移平衡和本地数据感知等功能提供高效地计算能力。

下一篇我们将开始在系统中搭建环境，引领大家一步步使用Hadoop。