使用MRUnit对MapReduce进行单元测试

1. 为什么需要单元测试   一旦MapReduce项目提交到集群之后,若是出现问题是很难定位和修改的,只能通过打印日志的方式进行筛选。又如果数据和项目较大时,修改起来则更加麻烦。所以,在将MapReduce项目提交到集群上之前,我们需要先对其进行单元测试。 2. 使用什么框架进行单元测试   MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架,其API非常简洁
相关文章
相关标签/搜索