千万行数据的表想做分页,抓破老壳学一学。

男娘i 2023-02-16 01:47 55阅读 0赞

## 背景： ##

当进行分页时，MySQL 并不是跳过 offset 行，而是取 offset+N 行，然后放弃前 offset 行，返回 N 行。例如 limit 10000, 20。mysql排序取出10020条数据后，仅返回20条数据，查询和排序的代价都很高。那当 offset 特别大的时候，效率就非常的低下，所以我们要对sql进行改写

## 方法一：使用书签 ##

用书签记录上次取数据的位置，过滤掉部分数据  
前

SELECT id, name, description FROM film ORDER BY name LIMIT 1000, 10;

后

SELECT id, name, description FROM film WHERE name > 'begin' ORDER BY name LIMIT 10;

name为上次分页后的最大值，注意这种场景只适用于不存在重复值的场景。

## 方法二：延迟关联 ##

延迟关联：通过使用覆盖索引查询返回需要的主键，再根据主键关联原表获得需要的数据

SELECT id, name, description FROM film ORDER BY name LIMIT 100,5;

id是主键值，title上面有索引。这样每次查询的时候，会先从title索引列上找到id值，然后回表，查询到所有的数据。可以看到有很多回表其实是没有必要的。完全可以先从title索引上找到id（注意只查询id是不会回表的，因为非聚集索引上包含的值为索引列值和主键值，相当于从索引上能拿到所有的列值，就没必要再回表了），然后再关联一次表，获取所有的数据

修改后

SELECT film.id, name, description FROM film 
    JOIN (SELECT id from film ORDER BY name LIMIT 100,5) temp
    ON film.id = temp.id

## 方法三：倒序查询 ##

假如查询倒数最后一页，offset可能回非常大

SELECT id, name, description FROM film ORDER BY name LIMIT 100000, 10;

修改后

SELECT id, name, description FROM film ORDER BY name DESC LIMIT 10;

发表评论取消回复

表情：

评论列表（有 0 条评论，55人围观）

还没有评论，来说两句吧...

相关阅读

相关 mysql生成一个千万行的表

CREATE TABLE usertb ( id serial, uname varchar(20) , ucreatetime datetime , age

我不是女神ヾ/ 2023年11月20日 06:43/ 0 赞/ 159 阅读

相关千万级别的表分页查询非常慢，怎么办？

一、问题复现在实际的软件系统开发过程中，随着使用的用户群体越来越多，表数据也会随着时间的推移，单表的数据量会越来越大。以订单表为例，假如每天的订单量在 4 万左右，

川长思鸟来/ 2023年09月28日 18:24/ 0 赞/ 19 阅读

相关千万行数据的表想做分页,抓破老壳学一学。

背景：当进行分页时，MySQL 并不是跳过 offset 行，而是取 offset+N 行，然后放弃前 offset 行，返回 N 行。例如 limit 10000,

男娘i/ 2023年02月16日 01:47/ 0 赞/ 56 阅读

相关想学人工智能？那千万不要错过这份教程了！

最近几年，我看过市面上很多 Python和人工智能的教程，基本都是先介绍Python基本语法，然后学习机器学习、深度学习的常用算法...... 但我与赵辛和褚英昊两位AI博士

向右看齐/ 2022年08月28日 08:49/ 0 赞/ 375 阅读

相关 [源代码]千万级数据分页存储过程示例！

操作步骤：　填写正确的数据库连接配置后使用连接按钮连接数据库，选择相应的数据库，表名以及索引字段，点读取数据按钮即可获取分页数据，如果你的数据库中不包含 GetRecor

待我称王封你为后i/ 2022年08月08日 05:12/ 0 赞/ 267 阅读

相关千万数据的分库分表(一)

千万数据的分库分表(一) 原创 2017年05月03日 11:41:36 标签： [数据库][Link 1] / [数据][Link 2] /

系统管理员/ 2022年05月29日 06:28/ 0 赞/ 219 阅读

相关千万数据的分库分表方案

> 这是项目中有一定量级的数据或用户，都会遇到的一个问题，故记录一下 > > 自己的开源项目集合，[见这里][Link 1] 单表数据量达到1000W以后，就要拆了背

今天药忘吃喽~/ 2022年05月19日 09:41/ 0 赞/ 248 阅读

相关 MySQL处理千万级数据分页查询的优化方案

数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyi

ゝ一纸荒年。/ 2022年04月08日 08:07/ 0 赞/ 736 阅读

相关千万级MySQL分页优化

[https://blog.csdn.net/persistencegoing/article/details/84376427][https_blog.csdn.n

柔光的暖阳◎/ 2022年02月24日 04:42/ 0 赞/ 471 阅读

相关千万数据的mysql分库分表

> 单表数据量达到1000W以后，就要拆了. 背景情况用户表达到了几千万级别，在做很多操作都比较吃力,.所以，考虑对其进行分表. 常用的切分方案数据的切分（

拼搏现实的明天。/ 2022年02月03日 14:29/ 0 赞/ 303 阅读