大数据技术原理与应用：第二讲大数据处理架构Hadoop

Posted 2021-12-29 musecho

2.1 Hadoop概论

创始人：Doug Cutting

 

1.简介：

 

开源免费;

操作简单，极大降低使用的复杂性;

Hadoop是Java开发的;

在Hadoop上开发应用支持多种编程语言、不限于Java；

 

Hadoop两大核心：HDFS+MapReduce

HDFS：海量数据存储

MapReduce：海量数据的处理

 

2.起源：

原本是文本搜索库，模仿谷歌的搜索引擎；

融入了谷歌相关技术：分布式文件系统GFS；分布式并行编程框架MapReduce；

 

3.成名史：数据排序 的傲人成绩

 

4.特性：

1.高可靠性

2.高效性

3高可扩展性

4.高容错性

5.低成本

6.运行在Linux平台上

7.支持多种编程语言

 

5.应用现状：

例如：Facebook

 

 

 

2.2 Hadoop项目结构