mapreduce中map数的测试

Posted ysch

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mapreduce中map数的测试相关的知识,希望对你有一定的参考价值。

默认的map数是有逻辑的split的数量决定的,根据源码切片大小的计算公式:Math.max(minSize, Math.min(maxSize, blockSize));

其中:

minsize:默认值:1  
   配置参数: mapreduce.input.fileinputformat.split.minsize    

maxsize:默认值:Long.MAXValue  
    配置参数:mapreduce.input.fileinputformat.split.maxsize

blocksize:值为hdfs的对应文件的blocksize

可知,当未对minsize和maxsize做任何修改的情况下,可知默认切片大小为:blocksize大小。
这里需要说明的是,只有当一个文件的大小超过了切片大小时才会被逻辑切分,如果没有超过切片大小则会自成一个分片,(如hdfs的blocksize大小为128MB,分别有大小为20MB,200MB的两个文件,
那么默认将会产生三个切片,分别为20MB,128MB和72MB,也就是说会有3个map来处理),所以如果想增大map个数(也就是提高并行度,减少每个map处理的任务量),就可以将大文件切分成多个小文件
来处理(不是说小文件越多越好,这里还要综合考虑,比如队列资源,task调度的效率的影响)。
例如:一个队列有120个可以使用的core,当可以全量使用这些资源时且总文件大小又没有那么大(128MB*120),就可以考虑将这个文件分割成120个小文件,这样逻辑上就是120个切片,可以同时启动120个map
来运行,相比(文件大小/128MB)个map来说对资源的利用率要高。

以上是关于mapreduce中map数的测试的主要内容,如果未能解决你的问题,请参考以下文章

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce

理解MapReduce

理解MapReduce