大数据之Hadoop(MapReduce)：OutputFormat数据输出

Posted 2021-06-26 浊酒南街

目录

• 1.OutputFormat接口实现类
• 2.自定义OutputFormat
• • 2.1:使用场景
  • 2.2:自定义OutputFormat步骤：

1.OutputFormat接口实现类

outputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。下面我们介绍几种
常见的OutputFormat实现类：
1.文本输出TextOutputFormat
默认的输出文本格式是TextOutputFormat,它把每条记录写成文本行。它的值和键可以是任意类型，因为TextOutputFormat调用toString()方法把它们转化为字符串。
2.SequnceFileOutputFormat
将SequnceFileOutputFormat输出作为后续MapReduce任务的输入，这便是一种好的输出格式，因为它的格式紧凑，很容易被压缩。
3.自定义OutputFormat
根据用户需求，自定义实现输出；

2.自定义OutputFormat

2.1:使用场景

为了实现控制最终文件的输出路径和输出格式，可以自定义OutputFormat。
例如：要在一个MapReduce程序种根据数据的不同输出两类结果到不同的目录，这类灵活的输出需求可以通过自定义OutputFormat来实现。

2.2:自定义OutputFormat步骤：

1.自定义一个类继承FileOutputFormat
2.改写RecordWriter，具体改写输出数据的方法Write()。