SQL去重是用DISTINCT好，仍是GROUP BY好？

SQL专栏

SQL基础知识汇总

SQL高级知识汇总

咱们知道DISTINCT能够去掉重复数据，GROUP BY在分组后也会去掉重复数据，那这两个关键字在去掉重复数据时的效率，究竟谁会更高一点？

1.使用DISTINCT去掉重复数据
咱们先看下面这个例子:

SELECT DISTINCT UnitPrice
FROM [Sales].[SalesOrderDetail]
WHERE UnitPrice>1000;

执行完以后的结果以下：

接下来，咱们将这个表里的数据增大到194万条，再重复上面的实验。

--将表SalesOrderDetail插入到一张物理表中

SELECT * INTO Sales.Temp_SalesOrder
FROM [Sales].[SalesOrderDetail] ;

--经过新增的物理表进行自循环插入3次，将数据增长到1941072行

DECLARE @i INT;
SET @i=0
WHILE @i<4
BEGIN
--这里没有将SalesOrderDetailID这个自增加的放在列中，是为了让系统自动填充不一样的数字进去，保证惟一性。
INSERT INTO Sales.Temp_SalesOrder
(SalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,
UnitPrice,UnitPriceDiscount,LineTotal,rowguid,ModifiedDate)

SELECT
SalesOrderID,CarrierTrackingNumber,OrderQty,ProductID,SpecialOfferID,
UnitPrice,UnitPriceDiscount,LineTotal,NEWID(),ModifiedDate
FROM Sales.Temp_SalesOrder
SET @i=@i+1;
END;

SELECT COUNT(1) FROM Sales.Temp_SalesOrder；

（提示：能够左右滑动代码）

将SalesOrderDetailID的自增加属性取消掉以后，插入1000条自身的数据，这样咱们就能够获得1000条重复的SalesOrderDetailID，相比1942072条记录占比很小了

以下图，将自增加标识的是换成否后便可插入了。

INSERT INTO sales.Temp_Salesorder
SELECT TOP 1000 * FROM sales.Temp_Salesorder；

数据插入完整后，咱们在将上一讲的内容重复一下，看看效果如何？

A.在没建索引的状况下，咱们只查询UnitPrice这一列

SELECT UnitPrice FROM Sales.Temp_SalesOrder ;

咱们看一下执行状况：

接下来是鉴证奇迹的时刻了，咱们加DISTINCT在UnitPrice前面试试

SELECT  DISTINCT  UnitPrice FROM sales.Temp_Salesorder;

和以前的实验结果一致，在执行时间没有多大差异的状况下，分析时间成倍的减小了。

B.当SalesOrderDetailID取消掉自增加属性后就和普通列同样了。

咱们来重复上面的步骤：

SELECT   SalesOrderDetailID FROM sales.Temp_Salesorder

执行完后结果以下：

与上面的UnitPrice没使用DISTINCT状况基本一致。

而后咱们给SalesOrderDetailID加上DISTINCT后会怎么样呢？

SELECT DISTINCT  SalesOrderDetailID
FROM sales.Temp_Salesorder

咱们能够看到以下执行状况：

从上图能够看到，DISTINCT已经排除了1000条记录，可是在执行时花的时间比没加DISTINCT更久了。

经过上述两个实验，咱们能够得出这样一条结论：在重复量比较高的表中，使用DISTINCT能够有效提升查询效率，而在重复量比较低的表中，使用DISTINCT会严重下降查询效率。因此并非全部的DISTINCT都是下降效率的，固然你得提早判断数据的重复量。

2.GROUP BY与DISTINCT去掉重复数据的对比

GROUP BY与DISTINCT相似，常常会有一些针对这两个哪一个效率高的争议，今天咱们就将这两个在不一样重复数据量的效率做下对比。

A.重复数据量多的状况下，对UnitPrice进行去重

SELECT  DISTINCT  UnitPrice FROM sales.Temp_Salesorder;
SELECT  UnitPrice FROM sales.Temp_Salesorder GROUP BY UnitPrice;

将上述两条语句一块儿执行，结果以下：

能够看出两条语句对应的执行时间GROUP BY比DISTINCT效率高一点点。

B.重复数据量少的状况下，对SalesOrderDetailID进行去重

SELECT DISTINCT SalesOrderDetailID FROM sales.Temp_Salesorder
SELECT SalesOrderDetailID FROM sales.Temp_Salesorder
GROUP BY SalesOrderDetailID

也是同时执行上述两条语句，其结果以下：

做者对上述语句同时执行屡次，针对重复量多的UnitPrice，GROUP BY总的处理效率比DISTINCT高一点点，可是针对重复量低的SalesOrderDetailID，DISTINCT就比GROUP BY快一点了，而若是随着总体数据量的增长，效果会愈来愈明显。

今天的内容就讲到这里，小伙伴能够动手尝试一下。若有不明白的能够在下方留言一块儿探讨。