运用MRUnit测试mapper和reducer

Posted 2020-07-16 草莓干123456

MRUnit可以花费时间少，并且可以分别测试mapper和reducer

步骤：

1、  运用MRUnit测试mapper和reducer

2、  执行mapreduce代码的本地化测试

3、  使用hadoop日志

4、  通过计数器跟踪执行指标

Testing Mapper的过程

1、  实例化mapdirver类，作为测试中mapper被参数化

2、  调用withmapper方法来添加想要测试的mapper实例

3、  根据情况选择withconfiguration方法设置mapper的配置文件

4、  调用withinput方法来传递所需的key和value

5、  通过调用withoutput方法设置期望的输出内容

6、  调用功能rantest方法将设置的输入值传递给mapper

Testing Reducer的过程

1、  首先创建一个用做reducer输入的intwritable对象列表

2、  实例化reducedriver对象

3、  调用withreduce方法来设置要测试的reducer实例

4、  通过withconfiguration来传递想要的配置

5、  调用withinput方法可以将输入值传递给reducer

6、  调用withoutput方法来设置期望的reducer输出

7、  最后调用runtest方法，把设置的输入传递给reducer