最新要闻
- 中意悦享安康重疾险怎么样?保什么? 每日热讯
- 弥勒岩在福清什么地方_弥勒岩
- 商家被大学生“占便宜”到崩溃引热议 7天无理由退货该取消吗?勿以恶小而为之|每日焦点
- 浙大创造出新物质:兼具硬度和弹性 真五边形战士
- 佛山一考生第一天走错考场:第二天赶不上公交 两次获救助 环球百事通
- 高考生出考场接受采访 同学跑来喊话:加强李信 环球热文
- MediaTek天玑开发者中心官网上线 天玑生态圈加速引领移动应用体验进化 世界报道
- 每日看点!notify party和consignee(外贸单据中CONSIGNEE和NOTIFY PARTY有什么区别)
- 海口一老人街边突然摔倒,两小伙上前将人扶起 焦点速看
- steam好友聊天闪退_steam好友功能激活
- 浙江省养老金调整方案及计算公式表 2022~2023年浙江省养老金调整方案细则最新消息(全文)
- 李云泽:坚决消除监管的空白和盲区 环球观热点
- 天天动态:以为走错 到了新考场发现这下真错了:女生闹大乌龙 幸运没耽误考试
- 不接受没用!欧美要把全球热门IP都改为黑人 塞尔达公主是黑人 太过分了?
- 百事通!618又要来了,江苏省消保委发布消费提示
- 岳阳县疾病预防控制局揭牌成立 焦点消息
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
观天下!MySQL百万级数据大分页查询优化的实现
前言:在数据库开发过程中我们经常会使用分页,核心技术是使用用limit start, count分页语句进行数据的读取。
(相关资料图)
一、MySQL分页起点越大查询速度越慢
直接用limit start, count分页语句,表示从第start条记录开始选择count条记录 :
select * from test limit start, count ;
当起始页较小时,查询没有性能问题,我们分别看下从10, 1000, 10000, 100000开始分页的执行时间(每页取20条)。
select * from test limit 10, 20 ; //0.002秒select * from test limit 1000, 20 ; //0.011秒select * from test limit 10000, 20 ; //0.027秒select * from test limit 100000, 20 ; //0.057秒
我们已经看出随着起始记录的增加,时间也随着增大, 这说明分页语句limit跟起始页码是有很大关系的,那么我们把起始记录改为100w看下:
select * from test limit 1000000, 20 ; //0.682秒
我们惊讶的发现MySQL在数据量大的情况下分页起点越大查询速度越慢,300万条起的查询速度已经需要1.368秒钟。这是为什么呢?
因为limit 3000000,10的语法实际上是MySQL扫描到前3000020条数据,之后丢弃前面的3000000行,这个步骤其实是浪费掉的。
select * from test limit 3000000, 20 ; //1.368秒
从中我们也能总结出两件事情:
(1)limit语句的查询时间与起始记录的位置成正比
(2) MySQL的limit语句是很方便,但是对记录很多的表并不适合直接使用。
二、 limit大分页问题的性能优化方法
(1)利用表的覆盖索引来加速分页查询
MySQL的查询完全命中索引的时候,称为覆盖索引,是非常快的。因为查询只需要在索引上进行查找之后可以直接返回,而不用再回表拿数据。
在我们的例子中,我们知道id字段是主键,自然就包含了默认的主键索引。现在让我们看看利用覆盖索引的查询效果如何。
select id from test limit 1000000, 20 ; //0.2秒
那么如果我们也要查询所有列,如何优化?
优化的关键是要做到让MySQL每次只扫描20条记录,我们可以使用limit n,这样性能就没有问题,因为MySQL只扫描n行。我们可以先通过子查询先获取起始记录的id,然后根据Id拿数据:
select * from test where id>=(select id from test limit 1000000,1) limit 20;
(2)延迟关联
和上述的子查询做法类似,我们可以使用JOIN,先在索引列上完成分页操作,然后再回表获取所需要的列。
select a.* from test a inner join (select id from test limit 1000000,20) b on a.id=b.id;
注意:如果不使用ORDER BY对主键或者索引字段进行排序,结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3)。
(3)用上次分页的最大id优化
优化思路是使用某种变量记录上一次数据的位置,下次分页时直接从这个变量的位置开始扫描,从而避免MySQL扫描大量的数据再抛弃的操作。
例如:先找到上次分页的最大ID,然后利用id上的索引来查询:
select * from test where id>1000000 limit 100 ;
说明:优化方法中所有的例子都是基于id为主键这个前提,不能使用索引字段,否则会出现返回数据记录数不对的情况。
关键词:
观天下!MySQL百万级数据大分页查询优化的实现
矩形图的奇妙世界:揭开数据背后的故事 热点聚焦
中意悦享安康重疾险怎么样?保什么? 每日热讯
全球金融周期:趋势和影响——人民银行副行长、外汇局局长潘功胜在第十四届陆家嘴论坛上的主题演讲
弥勒岩在福清什么地方_弥勒岩
商家被大学生“占便宜”到崩溃引热议 7天无理由退货该取消吗?勿以恶小而为之|每日焦点
浙大创造出新物质:兼具硬度和弹性 真五边形战士
佛山一考生第一天走错考场:第二天赶不上公交 两次获救助 环球百事通
高考生出考场接受采访 同学跑来喊话:加强李信 环球热文
MediaTek天玑开发者中心官网上线 天玑生态圈加速引领移动应用体验进化 世界报道
每日看点!notify party和consignee(外贸单据中CONSIGNEE和NOTIFY PARTY有什么区别)
海口一老人街边突然摔倒,两小伙上前将人扶起 焦点速看
steam好友聊天闪退_steam好友功能激活
浙江省养老金调整方案及计算公式表 2022~2023年浙江省养老金调整方案细则最新消息(全文)
李云泽:坚决消除监管的空白和盲区 环球观热点
天天动态:以为走错 到了新考场发现这下真错了:女生闹大乌龙 幸运没耽误考试
不接受没用!欧美要把全球热门IP都改为黑人 塞尔达公主是黑人 太过分了?
百事通!618又要来了,江苏省消保委发布消费提示
岳阳县疾病预防控制局揭牌成立 焦点消息
深度学习应用篇-计算机视觉-目标检测[4]:综述、边界框bounding box、锚框(Anchor box)、交并比、非极大值抑制NMS、SoftNMS
Openjob:更强大、更智能的新一代分布式任务调度框架|世界热推荐
特斯拉被曝动员中国供应商出海 去墨西哥复制“上海工厂”|每日报道
官方重要提醒!网易暴雪游戏退款申请即将截止
全球新资讯:一个游泳池里到底有多少尿?
世界热点评!一本书卖4.5万 日本研究员拆解比亚迪海豹视频流出:竟有些热血
全球微头条丨燃油绝唱! 第八代高尔夫终于改款:首次搭载大尺寸屏幕
天天热门:一字千年,方正字库的守正与创新
MySQL索引的数据结构 环球快资讯
焦点!原生AJAX案例浏览器报错:Cross origin requests are only supported for protocol
全球头条:springboot~jgroups实现节点间的通讯
轻松实现物联网通信的利器:MQTT网关神器——FluxMQ 当前视点
win10配置Electron安装环境以及解决报错-消息
当前热文:青春的答卷
世界最新:当事博主否认被强制执行:特斯拉还想让平台封杀我 不是谁都给你面子
奶凶!沃尔沃史上最小SUV EX30发布!纯电续航480km 3.6秒破百
天天通讯!端午节假期火车票今日开售:调休放三天假 高速不免费
世界新动态:弯道强才是真的强!问界M5智驾版重庆山路实测:尽享丝滑
焦点快报!140W满功耗RTX 4060助力!618百亿补贴ROG魔霸7 Plus到手价仅8999元
天天时讯:郑外名师评卷·高考数学:反刷题、反套路,重视基础,稳中求新
龙湾开展“红色星期天”活动 让“一老一小”共享红色温暖 环球焦点
世界微头条丨太卷了,史上最简单的监控系统 catpaw 简介
小车PID巡线调节 全球报资讯
易基因|一种全新的检测DNA羟甲基化的技术:ACE-Seq 环球时快讯
JPA单表存储List与模糊查询
医保缴费多少年才可以终身享受待遇?多少钱一年?
欧盟将强制禁用华为5G设备 热点在线
性价比口碑双冠王!魅族20 PRO成618四千档性能神机 天天热资讯
雾霾笼罩纽约 自由女神像被“吞没” :美国大片地区昏黄烟雾 宛如末日降临-世界热头条
世界头条:高考时没有一个孔子是饿着的:学子争相给先贤送吃的 期盼金榜题名
女子开门杀致骑手摔倒被罐车卷入车底:第一反应竟是观察车门|天天速递
Adata 展示其 1600W PSU 可以为四个 450W RTX 4090 供电
java~如何使用无符号整型 看热讯
文字效果 用背景渐变实现 波浪背景文字
P1585 魔法阵 题解
关注2023年河南高考丨免费午餐温暖高考学子
西安李姐茶叶蛋的家常做法?
有人在麦田插钢筋损坏收割机:钢筋还特意用麦子包裹 天天报道
帅不过3秒!RTX 4060游戏本挑战全景光追惨败 天天实时
黑龙江黑河村庄遭龙卷风袭击:多处房屋损毁|焦点关注
安卓阵营早已实现:iOS 17相机终于引入“水平”辅助线_天天报资讯
天天看点:买显卡“送”橘猫!COLORFIRE RTX 4060 Ti橘影橙8GB 评测:比公版强2%
当前时讯:文档在线预览(四)将word、txt、ppt、excel、图片转成pdf来实现在线预览
热讯:工会代表候选人初步人选推荐情况的报告_人选和候选人的区别是什么
组图|2023年海南陵水黎安国际教育创新试验区知识产权沙龙活动举行
多家饭店因在凉皮内放黄瓜丝被罚 网友吵翻:专家科普为大家好
第27次参加!高考钉子户梁实愁眉苦脸出考场 直言考得不好_世界今日报
天天实时:Epic祝福高考学子被指配图不佳 随后换成《原神》截图
天天信息:灵商的组成中包括(灵商)
吉视传媒:公司目前没有发展和推动有esim卡业务 今日精选
全球短讯!青海省邮政管理局联合相关部门调研“客货邮”融合发展情况
世界即时看!福达合金:截至本公告披露日 公司及其控股子公司担保余额为人民币约7.86亿元
职业发展战术设计:构建可持续积累的职业优势 每日关注
微控制器实时操作系统实践3任务信令和通信机制
癫痫一年发作一次严重吗
什么海鱼内脏比较好吃?
魔域私服有合宝宝挂吗_457833415@ com 求个 有的给个 谢谢啦|今日视点
全球滚动:卡霍夫卡水电站大坝遭袭 扎波罗热地方官员:核电站情况稳定
万亿美元发债潮将至 美国金融体系或酝酿流动性风险 环球新动态
新兴产业加速崛起 海洋经济破浪前行
江苏黄沙港特大桥顺利合龙 预计6月底完工
高温范围扩大 这些地区的高考考生和家长需注意_当前资讯
雷雨大风+冰雹+龙卷!黑龙江省发布龙卷预警 焦点短讯
临川区气象台发布雷电黄色预警信号【III级/较重】【2023-06-07】 每日速讯
世界看热讯:不回巴萨!曝梅西已决定加盟美国球队迈阿密国际
Mac游戏看齐Win系统 苹果新工具可快速移植游戏
2023高考来临 大学生考点摆摊卖9.85与21.1元花束:给学弟学妹加油
暗黑满级号死于掉线
梅西官宣加盟迈阿密国际 老板是贝克汉姆:5000万欧年薪+苹果分成等
【独家焦点】长城电工:6月7日融资买入130.37万元,融资融券余额8601.6万元
按照评价的不同目的可将课程评价分为-要闻
资讯推荐:金发科技:公司目前材料可应用于航天、军工领域,但暂无相关订单
手机版生存游戏推荐 自己采集物资生存
全球快资讯:读改变未来的九大算法笔记06_图形识别
麻江县气象台发布雷电黄色预警信号【Ⅲ/较重】【2023-06-07】
优博讯:公司目前生物识别技术主要为人脸识别 每日简讯
pdca管理体系是什么_pdca管理是什么意思
信濠光电:公司的3D玻璃产品销量保持快速增长,但目前收入占比相对不高-时快讯
世界热推荐:《蜘蛛侠:纵横宇宙》口碑登顶 用AI绘制自己的格温女友
最新预警!雷雨大风!|环球焦点
观焦点:中国奇谭、宝可梦、姆明……上海电视节线下放映排片来了,你最想看哪一部?