MapReduce去空去重

MapReduce清洗数据 注意：此代码虽能完美实现需求，但还有一些地方需要优化 详细优化内容请访问下方链接，更新时间2019/03/13 https://blog.csdn.net/weixin_42063239/article/details/88537897 前言 爬虫爬取的数据中会有一些数据有空值或者数据重复，想要得到规范的数据则要进行数据清洗，对保存为csv类型的数据来说可以用pytho

>>阅读原文<<