深入理解hadoop值MapReduce

Posted 大数据开发程序猿

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深入理解hadoop值MapReduce相关的知识,希望对你有一定的参考价值。

1.MapReduce编程模型概述

  MapReduce编程模型给出了分布式的编程方法,总共分为5个步骤。分为这5个步骤的优点:组件化和并行化

    (1)迭代。遍历输入数据,并将其解析成key/value键值对

    (2)将输入的key/value对映射(map)成另外一些key/value对

    (3)依据key对中间数据进行分组(grouping)

    (4)以组为单位对数据进行规约(reduce)

    (5)迭代。将最终产生的数据保存到输出文件中

2.MapReduce编程接口体系结构  

以上是关于深入理解hadoop值MapReduce的主要内容,如果未能解决你的问题,请参考以下文章

2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理深入解析Hadoop Common和HDFS架构设计与实现原理

深入理解MapReduce的架构及原理

深入理解HDFS 一

Hadoop 框架基础

HBase 深入浅出

史上最全电子书汇总