大数据之Hadoop(MapReduce)：切片与MapTask并行度决定机制

Posted 浊酒南街

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据之Hadoop(MapReduce)：切片与MapTask并行度决定机制相关的知识，希望对你有一定的参考价值。

目录

1.问题引出

MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。
思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？

2.MapTask并行度决定机制

数据块：Block是HDFS物理上把数据分成一块一块。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。

3. MapTask并行度决定机制

在这里插入图片描述

以上是关于大数据之Hadoop(MapReduce)：切片与MapTask并行度决定机制的主要内容，如果未能解决你的问题，请参考以下文章

大数据之Hadoop(MapReduce)：切片与MapTask并行度决定机制

大数据之Hadoop(MapReduce)：FileInputFormat，CombineTextInputFormat切片机制

大数据技术之_05_Hadoop学习_02_MapReduce_MapReduce框架原理+InputFormat数据输入+MapReduce工作流程(面试重点)+Shuffle机制(面试重点)(示例

大数据之Hadoop(MapReduce)：CombineTextInputFormat案例实操

大数据之二：Hadoop与Spark辨析

mapreduce输入数据为helloworldbyword的切片处理结果