前言
差不多我是一口气写完mapper 和 reducer程序,结果运行有错误.不知道那里错了,看到书上可以分别对他们进行独立的测试,这个就很好.不然写完都不知道那里错了.这篇就讲添加MRUnit的jar包.以后再详细讲自己实验过程中出现的问题.
正文
在MapReduce中,map函数和reduce函数的独立测试非常方便,这是有函数风格决定的.MRUnit(http://mrunit.apache.org/)是一个测试库,它便于将已知额输入传递给mapper或者检查reducer的输出是否符合预期.MRUnit与标准的测试执行框架(如JUnit)一起使用,因此可以在正常的开发环境中运行MapReduce作业的测试.
实验过程
环境:hadoop-2.6.0
首先下载jar压缩包http://www.java2s.com/Code/Jar/m/Downloadmrunit100hadoop2jar.htm.因为我是hadoop-2.6.0,所以下载hadoop2版本的mrunit-jar.
hadoop1版本这里下载:http://www.java2s.com/Code/Jar/m/Downloadmrunit100hadoop1jar.htm
解压,然后在自己的项目中添加jar包:
添加方法:右键项目,build path –>libraries –>Add External JAR