hive数据表去重方法

一、hive 0.8.0数据表去重方法 问题描述：hive的外部表test中，在若干字段上存在重复现象，如今须要将若干字段上值相同的多条记录，只保其中留一条，           舍弃其他的。           解决思路：    （1）group by的方法          首先新建与test表彻底相同的新表test_pure,而后利用group by在有相同值的若干字段上进行分组统计，正常状

>>阅读原文<<