Hadoop_28_MapReduce_自定义 inputFormat

Posted 2020-11-21 QueryMarsBo

1. 自定义inputFormat

 

1.1.需求:

　　无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件，此时就需要有相应解决方案;

1.2.分析:　

　　小文件的优化无非以下几种方式：

 

　　1、在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS；

 

　　2、在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并；

 

　　3、在mapreduce处理时，可采用combineInputFormat提高效率；

1.3.实现:　　　

　　本节实现的是上述第二种方式，程序的核心机制：

 

　　自定义一个InputFormat，改写RecordReader，实现一次读取一个完整文件封装为KV，在输出时使用SequenceFileOutPutFormat

输出合并文件