Hadoop大数据技术开发实战
上QQ阅读APP看书,第一时间看更新

5.7 使用MRUnit测试MapReduce程序

MRUnit(http://incubator.apache.org/mrunit/)是Apache提供的对MapReduce程序进行测试的工具类,使用它可以对Mapper和Reducer程序分别进行测试,并且可以将已知的输入传递给Mapper或者检查Reducer的输出是否符合预期。MRUnit可以与标准的测试框架(如JUnit)一起使用。

下面讲解在Eclipse中使用MRUnit结合JUnit对本章“单词计数”案例中的WordCount程序进行单元测试,具体操作步骤如下。

1. 添加Maven依赖

MRUnit测试库需要添加以下Maven依赖:

2. 新建测试类MRTest.java

测试类MRTest.java的完整代码如下:

3. 运行JUnit测试

分别运行JUnit测试,测试方法testMapper()、testReducer()和testMapReduce()。若测试结果与期望结果一致,则测试成功。