HDFS_01_Hadoop简介

Posted 2021-12-19 火晟君

HDFS_01_Hadoop简介

持续更新大数据文章 …

本篇文章学的是 Hadoop 生态圈里面的 HDFS，HDFS 是解决大数据海量数据存储的技术。

1. Hadoop

1.1 为什么要学习Hadoop？

大数据是时代发展和技术进步的产物，Hadoop 只是一种处理大数据的技术手段。所以想要学习大数据就必须先学习 Hadoop ！广义上来说，hadoop 指代大数据的一个生态圈，包括很多其他的软件。

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。

Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构，是用 Java 语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。

Hadoop 平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）、组件支撑服务（Common）等技术。

随着 Hadoop 的不断发展，基于 Hadoop 的大数据生态越发完善，目前包括 Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper 等组件陆续被开发出来，这些组件极大的丰富了 Hadoop 自身的应用。

学习大数据肯定需要学习Hadoop技术，Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。

Hadoop 学习之后，还得学习 Spark，它是一种与 Hadoop 相似的开源集群计算环境，拥有 Hadoop MapReduce 所具有的优点，Spark 是 MapReduce 的替代方案，而且兼容 HDFS、Hive，可融入Hadoop 的生态系统，以弥补 MapReduce 的不足。这是大数据技术学习的两大重点。

1.2 Hadoop历史

Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

在2003~2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。这两篇论文是GFS（Google File System）、MapReduce数据计算的方法。

Doug cutting 花费了自己的两年业余时间，将论文实现了出来，2008年1月，HADOOP成为Apache顶级项目。

1.3 Hadoop官网

​ 网址：http://hadoop.apache.org/

1.4 Hadoop Model

• Hadoop Common：基础型功能
• Hadoop Distributed File System：负责存放数据
• Hadoop YARN：负责资源的调配
• Hadoop MapReduce：大数据的计算框架
• Hadoop Ozone：数据存放到仓库
• Hadoop Submarine：机器学习引擎

下期讲解 HDFS_02_文件系统（DFS）......