2.11 MapReduce原理
Posted 炫云云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2.11 MapReduce原理相关的知识，希望对你有一定的参考价值。
文章目录
MapReduce原理
单机程序计算流程
输入数据—>读取数据—>处理数据—>写入数据—>输出数据
Hadoop计算流程
input data：输入数据
InputFormat：对数据进行切分，格式化处理
map：将前面切分的数据做map处理(将数据进行分类，输出(k,v)键值对数据)
shuffle&sort:将相同的数据放在一起，并对数据进行排序处理
reduce：将map输出的数据进行hash计算，对每个map数据进行统计计算
OutputFormat：格式化输出数据
以上是关于2.11 MapReduce原理的主要内容，如果未能解决你的问题，请参考以下文章