大数据量时 Mysql LIMIT如何正确对其进行优化（转载）

如下的文章主要是对Mysql LIMIT简单介绍，咱们你们都知道LIMIT子句通常是用来限制SELECT语句返回的实际行数。LIMIT取1个或是2个数字参数，若是给定的是2个参数，第一个指定要返回的第一行的偏移量，第二个指定返回行的最大数目。

初始行的偏移

量是0(不是1)。

mysql> select * from table LIMIT 6,10;

获得第7-16行

若是给定一个参数，它指出返回行的最大数目。

mysql> select * from table LIMIT 5;

获得前5行

换句话说，LIMIT n等价于Mysql LIMIT 0,n。MYSQL的优化是很是重要的。其余最经常使用也最须要优化的就是limit。mysql的limit给分页带来了极大的方便，但数据量一大的时候，limit的性能就急剧降低。一样是取10条数据

select * from yanxue8_visit limit 10000,10

和

select * from yanxue8_visit limit 0,10

就不是一个数量级别的。

网上也不少关于limit的五条优化准则，都是翻译自mysql手册，虽然正确但不实用。今天发现一篇文章写了些关于limit优化的，很不错。原文地址：http://www.zhenhua.org/article.asp?id=200（下面附有原文）

文中不是直接使用limit，而是首先获取到offset的id而后直接使用Mysql limit size来获取数据。根据他的数据，明显要好于直接使用limit。这里我具体使用数据分两种状况进行测试。（测试环境win2033+p4双核(3GHZ) +4G内存 mysql 5.0.19）

一、offset比较小的时候。

select * from yanxue8_visit limit 10,10

屡次运行，时间保持在0.0004-0.0005之间

Select * From yanxue8_visit Where vid >=(
Select vid From yanxue8_visit Order By vid limit 10,1
) limit 10

屡次运行，时间保持在0.0005-0.0006之间，主要是0.0006结论：偏移offset较小的时候，直接使用limit较优。这个显然是子查询的缘由。

二、offset大的时候

select * from yanxue8_visit limit 10000,10

屡次运行，时间保持在0.0187左右

Select * From yanxue8_visit Where vid >=(
Select vid From yanxue8_visit Order By vid limit 10000,1
) limit 10

屡次运行，时间保持在0.0061左右，只有前者的1/3。能够预计offset越大，后者越优。

附上原文：

select * from table LIMIT 5,10; #返回第6-15行数据

select * from table LIMIT 5; #返回前5行

select * from table LIMIT 0,5; #返回前5行

性能优化：

基于MySQL5.0中Mysql limit的高性能,我对数据分页也从新有了新的认识.

Select * From cyclopedia Where ID>=(
Select Max(ID) From (
Select ID From cyclopedia Order By ID limit 90001
) As tmp
) limit 100;
Select * From cyclopedia Where ID>=(
Select Max(ID) From (
Select ID From cyclopedia Order By ID limit 90000,1
) As tmp
) limit 100;

一样是取90000条后100条记录,第1句快仍是第2句快?

第1句是先取了前90001条记录,取其中最大一个ID值做为起始标识,而后利用它能够快速定位下100条记录

第2句择是仅仅取90000条记录后1条,而后取ID值做起始标识定位下100条记录

第1句执行结果.100 rows in set (0.23) sec

第2句执行结果.100 rows in set (0.19) sec

很明显第2句胜出.看来limit好像并不彻底像我以前想象的那样作全表扫描返回limit offset+length条记录,这样看来limit比起MS-SQL的Top性能仍是要提升很多的.

其实第2句彻底能够简化成

Select * From cyclopedia Where ID>=(
Select ID From cyclopedia limit 90000,1
)limit 100;

直接利用第90000条记录的ID,不用通过Max运算,这样作理论上效率因该高一些,但在实际使用中几乎看不到效果,由于自己定位ID返回的就是1条记录,Max几乎不用运做就能获得结果,但这样写更清淅明朗,省去了画蛇那一足.

但是,既然MySQL有limit能够直接控制取出记录的位置,为何不干脆用Select * From cyclopedia limit 90000,1呢?岂不更简洁?

这样想就错了,试了就知道,结果是:1 row in set (8.88) sec,怎么样,够吓人的吧,让我想起了昨天在4.1中比这还有过之的"高分".Select * 最好不要随便用,要本着用什么,选什么的原则, Select的字段越多,字段数据量越大,速度就越慢. 上面2种分页方式哪一种都比单写这1句强多了,虽然看起来好像查询的次数更多一些,但其实是以较小的代价换取了高效的性能,是很是值得的.

第1种方案一样可用于MS-SQL,并且多是最好的.由于靠主键ID来定位起始段老是最快的.

Select Top 100 * From cyclopedia Where ID>=(
Select Top 90001 Max(ID) From (
Select ID From cyclopedia Order By ID
) As tmp
)

但不论是实现方式是存贮过程仍是直接代码中,瓶颈始终在于MS-SQL的TOP老是要返回前N个记录,这种状况在数据量不大时感觉不深,但若是成百上千万,效率确定会低下的.相比之下MySQL的Mysql limit就有优点的多,执行:

Select ID From cyclopedia limit 90000
Select ID From cyclopedia limit 90000,1

而MS-SQL只能用Select Top 90000 ID From cyclopedia 执行时间是390ms,执行一样的操做时间也不及MySQL的360ms.

 

转自：http://database.51cto.com/art/201005/200395.htm