Hadoop之MapReduce流程
Posted linyufeng
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop之MapReduce流程相关的知识，希望对你有一定的参考价值。
1. MapReduce流程
MapReduce流程
- 切片: 对数据进行逻辑划分,默认大小是一个block块大小. 以文件为单位,所以注意小文件问题
计算规则:Math.max(minSize, Math.min(maxSize, blockSize))
最大当中取最下,最小当中取最大,说白就是取中间值- MapTask: 根据切片多少确定开启几个task任务
- Spill溢写: 当Collect阶段在环形缓冲区写满数据后,会将数据写入磁盘
2. Shuffle流程
Shuffle流程
以上是关于Hadoop之MapReduce流程的主要内容，如果未能解决你的问题，请参考以下文章
解决 hive maPredue转换hivesql出错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.a