Hadloop

Posted jialanshun

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadloop相关的知识,希望对你有一定的参考价值。

Hadoop是分布式文件系统

并行处理系统:高效存储和高效处理组件

Mapreduce,函数式编程机制,分Map阶段和reduce阶段,他不但是一个编程方式,同时也是个运行框架,它分两个阶段

Map阶段:抽取各个键值对生成键值对结果集(一般存在本地),这些键值对存储下来并进行排序

reduce阶段:将Map的结果合并成处理结果的机制

所有Map完成才能启动reduce处理

技术图片

MapReduce是一个批处理作业系统(运行一段无法预估的时间)而不是实时系统。

GFS(The Google File System)谷歌文件系统是一种分布式文件系统,即将数据分布存储在多个数据节点上

  一个重要思想是:Google的FileSystem和MapReduce结合起来以后,使得程序往数据上跑而不是数据往程序上跑。

Hadoop:为DFS文件系统或HDFS文件系统

HDFS+Mapreduce=Hadoop

Hadoop是如何工作的?

            它把两个集群合到一块了(Hadoop集群和Mapreduce集群)

            对于Hadoop Map节点启动几个程序员无法控制,由MapReduce自行决定的,但是reduce启动几个程序员可以控制(如果程序员不指定JobTracker自行决定)

            JobTracker是MapReduce的控制节点,它能够决定在哪个节点上启动Map任务,并且能决定一共启动多少个Map任务

            数据怎么切割,由Map决定

技术图片

 

以上是关于Hadloop的主要内容,如果未能解决你的问题,请参考以下文章