深入理解hadoop值MapReduce
Posted 大数据开发程序猿
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深入理解hadoop值MapReduce相关的知识,希望对你有一定的参考价值。
1.MapReduce编程模型概述
MapReduce编程模型给出了分布式的编程方法,总共分为5个步骤。分为这5个步骤的优点:组件化和并行化
(1)迭代。遍历输入数据,并将其解析成key/value键值对
(2)将输入的key/value对映射(map)成另外一些key/value对
(3)依据key对中间数据进行分组(grouping)
(4)以组为单位对数据进行规约(reduce)
(5)迭代。将最终产生的数据保存到输出文件中
2.MapReduce编程接口体系结构
以上是关于深入理解hadoop值MapReduce的主要内容,如果未能解决你的问题,请参考以下文章
2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理深入解析Hadoop Common和HDFS架构设计与实现原理