hadoop中mapreduce的默认设置
Posted 装逼是个坑，越陷越深
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop中mapreduce的默认设置相关的知识，希望对你有一定的参考价值。
MR任务默认配置：
| job.setMapperClass() | Mapper | Mapper将输入的<key,value>对原封不动地作为中间结果输出 |
| job.setMapperOutputKeyClass() | 与map结果的k类型一致 | 设置中间结果的key的类型 |
| job.setMapperOutputValueClass() | 与map结果的v类型一致 | 设置中间结果的value的类型 |
| job.setReducerClass() | Reducer | Reducer将中间结果直接输出为最终结果。 |
| job.setOutputKeyClass() | LongWriteable | \ |
| job.setOutputValueClass() | Text | \ |
| job.setInputFormatClass() | TextInputFormat | 文本文件将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成<key,value>对 |
| job.setOutputFormatClass() | TextOutputFormat | TextOutputFormat将最终结果写成纯文本文件，每行一个<key,value>对，key和value之间用制表符分隔开来 |
| job.setCombinerClass() | null | 不合并中间结果 |
| job.setPartitionerClass() | HashPartitioner | HashPartitioner使用哈希函数完成Shuffle过程 |
以上是关于hadoop中mapreduce的默认设置的主要内容，如果未能解决你的问题，请参考以下文章