MapReduce编程模型
Posted dawangandy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MapReduce编程模型相关的知识，希望对你有一定的参考价值。
MapReduce编程模型
一种分布式计算模型框架，解决海量数据的计算问题
MapReduce将整个并行计算过程抽象到两个函数
map(映射)：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度并行
reduce:对一个列表的元素进行合并
一个简单的MapReduce程序只需要指定map(),reduce(),input和output，剩下的事有框架完成。
Map Task: 解析每条数据，传递给用户编写的map().
将map()输出的数据写入本地磁盘（如果是map-only作业则直接写入HDFS）
Reduce Taks:从Map Task上远程读取输入数据，对数据排序，将数据按照分钟传递给用户编写的reduce程序
以上是关于MapReduce编程模型的主要内容，如果未能解决你的问题，请参考以下文章