MapReduce实现数据清洗（去重）

上面是数据的格式java 特征码#路径（路径里面包括身份证号和姓名），我经过身份证号进行去重。node Map程序apache public static class DistinctMaper extends Mapper<LongWritable, Text, Text, PeopleBean>{ @Override protected void map(LongWritable key, T

>>阅读原文<<