重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
如何提高MySQL Limit查询的性能?\x0d\x0a在MySQL数据库操作中,我们在做一些查询的时候总希望能避免数据库引擎做全表扫描,因为全表扫描时间长,而且其中大部分扫描对客户端而言是没有意义的。其实我们可以使用Limit关键字来避免全表扫描的情况,从而提高效率。\x0d\x0a有个几千万条记录的表 on MySQL 5.0.x,现在要读出其中几十万万条左右的记录。常用方法,依次循环: \x0d\x0aselect * from mytable where index_col = xxx limit offset, limit; \x0d\x0a\x0d\x0a经验:如果没有blob/text字段,单行记录比较小,可以把 limit 设大点,会加快速度。\x0d\x0a问题:头几万条读取很快,但是速度呈线性下降,同时 mysql server cpu 99% ,速度不可接受。 \x0d\x0a调用 explain select * from mytable where index_col = xxx limit offset, limit; \x0d\x0a显示 type = ALL \x0d\x0a在 MySQL optimization 的文档写到"All"的解释 \x0d\x0aA full table scan is done for each combination of rows from the previous tables. This is normally not good if the table is the first table not marked const, and usually very bad in all other cases. Normally, you can avoid ALL by adding indexes that allow row retrieval from the table based on constant values or column values from earlier tables. \x0d\x0a看样子对于 all, mysql 就使用比较笨的方法,那就改用 range 方式? 因为 id 是递增的,也很好修改 sql 。\x0d\x0aselect * from mytable where id offset and id SELECT * FROM table LIMIT 5,10; //检索记录行6-15\x0d\x0a\x0d\x0a//为了检索从某一个偏移量到记录集的结束所有的记录行,可以指定第二个参数为-1\x0d\x0amysql SELECT * FROM table LIMIT 95,-1; //检索记录行96-last\x0d\x0a\x0d\x0a//如果只给定一个参数,它表示返回最大的记录行数目,换句话说,LIMIT n 等价于 LIMIT 0,n\x0d\x0amysql SELECT * FROM table LIMIT 5; //检索前5个记录行\x0d\x0a\x0d\x0aMySQL的limit给分页带来了极大的方便,但数据量一大的时候,limit的性能就急剧下降。同样是取10条数据,下面两句就不是一个数量级别的。\x0d\x0aselect * from table limit 10000,10\x0d\x0aselect * from table limit 0,10\x0d\x0a\x0d\x0a文中不是直接使用limit,而是首先获取到offset的id然后直接使用limit size来获取数据。根据他的数据,明显要好于直接使用limit。\x0d\x0a这里我具体使用数据分两种情况进行测试。\x0d\x0a1、offset比较小的时候:\x0d\x0aselect * from table limit 10,10 \x0d\x0a//多次运行,时间保持在0.0004-0.0005之间\x0d\x0aSelect * From table Where vid >=(Select vid From table Order By vid limit 10,1) limit 10 \x0d\x0a//多次运行,时间保持在0.0005-0.0006之间,主要是0.0006\x0d\x0a\x0d\x0a结论:偏移offset较小的时候,直接使用limit较优。这个显然是子查询的原因。\x0d\x0a2、offset大的时候:\x0d\x0aselect * from table limit 10000,10 \x0d\x0a//多次运行,时间保持在0.0187左右\x0d\x0a\x0d\x0aSelect * From table Where vid >=(Select vid From table Order By vid limit 10000,1) limit 10\x0d\x0a//多次运行,时间保持在0.0061左右,只有前者的1/3。可以预计offset越大,后者越优。
勉县网站制作公司哪家好,找创新互联!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。创新互联公司2013年成立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联。
合理使用JOIN、分表。
mysql一个主表好多个子表,查询性能最高的是将多个子表连接查询时,使用INNERJOIN或LEFTJOIN等合适的JOIN方式。同时,将常用查询的列加上索引,避免全表扫描。将数据量较大的子表进行分表处理,可以减少查询的数据量,提高查询效率。
MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一。
可以使用EXPLAIN语句查看SQL脚本性能:
EXPLAIN SELECT 语句;
例如学生表,其中电话字段建立了索引
学生表有6条记录
查询SQL语句的运行效率
explain select * from students where phone like '%34%'\G
下图rows为6,显示该查询扫描了6行记录,没有利用到索引
explain select * from students where phone like '45%'\G
下图rows为1,显示该查询扫描了1行记录,利用到了索引
两图比较like匹配查询
第一种写法 '%34%' 扫描了6行,索引未被利用;第二种写法 '45%' 扫描1行,索引发挥作用,效率更高。