最新要闻
- 武磊:客场也能感受球迷的热爱和支持 超越一切对立_天天最资讯
- 手机性价比被吐槽 HTC对元宇宙是真爱:不认同降温说、非常乐观
- Redmi性能王者!K60 Ultra工业设计图曝光 前沿资讯
- 《王者荣耀》体验服爆料:中单法师狂喜 斩杀史诗级优化
- 全球热消息:导航出错驶入紧急停车带 驶出时被撞 科普:紧急停车带该怎么用
- 全球视点!内存连续三个季度暴跌 三大厂疯狂减产!想涨价?没门儿
- 海贼王:“七武海”原型揭秘!居然来自30年前游戏《浪漫沙加2》
- 举报比亚迪排放不达标!长城汽车晒业绩:1-4月同比增长99.1% 买它还是比亚迪?_每日精选
- 焦点播报:16核R9 7945HX加持!联想公布新版拯救者R9000P参数
- 世界百事通!法拉第未来官宣:FF 91第一阶段交付5月31日开始 车主先培训
- 环球视讯!促进跨区域产业链、供应链、创新链、资金链、人才链深度融合,一大批长三角G60科创走廊跨区域合作重点项目签约
- 广州市花都区秀全中学:720分以上学生可以考虑秀中清北班-世界微头条
- 今日上映!《小美人鱼》豆瓣评论:难以接受黑人鱼、强凑CP、毁童年-焦点热门
- 即时:宝德暴芯x86处理器现身GeekBench 5:坐实就是Intel i3-10105
- 知名演员罗京民去世 曾饰演许三多的爹:张译等人发文悼念 焦点速递
- ST浩源:截至2023年5月20日,公司股东14658户,谢谢对公司的关注!|天天最新
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
7个工程应用中数据库性能优化经验分享
摘要:此篇文章分别从sql执行过程、执行计划、索引数据结构、索引查询提速原理、聚焦索引、左前缀优化原则、自增主键索引这些角度谈一谈我们对数据库优化的理解。
本文分享自华为云社区《工程应用中数据库性能优化经验小结》,作者: 叶工 。
【资料图】
1、前言
现阶段交付的算法产品,绝大多数涉及到数据库的使用。它承载的内容包括:用户权限管理、数据集信息、异步推论的结果、个性化配置等等。
在OCR场景下,数据集体量通常较大(一个数据集几十万张图片),而数据库往往部署在客户共享数据库中(同时运行大量其他业务),甚至只能和算法镜像共享同一台服务器,因此在后台研发中尤其要关心数据库性能瓶颈。
此篇文章分别从 sql执行过程、执行计划、索引数据结构、索引查询提速原理、聚焦索引、左前缀优化原则、自增主键索引这些角度谈一谈我们对数据库优化的理解。
2、ORM场景下如何获得完整SQL语句
1. 线上环境可以通过连接池进行慢SQL拦截,并发出告警通知
2. 测试阶段,因为使用预编译语句或ORM框架,无法获取完整SQL时可以使用数据库日志方式获取
set global general_log=on;show variables where Variable_name="general_log_file";
2.1 SQL执行过程
分析器:分析SQL,需要使用哪些表,使用哪些条件(知道要干什么)
优化器:对各种执行过程做性能评估,挑选代价最小的执行过程,代价只是优化器认为的,不一定正确 (怎么样做最快)
执行器:调用引擎接口,返回数据,引擎是插件式,类似编程时多态,在创建表时可以选择相应的存储 引擎
2.2 执行计划
SQL前加explain关键词可以得到SQL的执行计划,根据执行计划可以判断执行过程是否符合预期
explainSELECT db_dataset.uuid AS db_dataset_uuid, db_dataset.NAME AS db_dataset_name, db_dataset.updated_at AS db_dataset_updated_at, db_dataset.created_at AS db_dataset_created_at, db_dataset.volume_dir AS db_dataset_volume_dir, db_dataset.max_data_count AS db_dataset_max_data_count, db_dataset.description AS db_dataset_descriptionFROM db_dataset LEFT OUTER JOIN db_manifest ON db_manifest.dataset_id = db_dataset.id AND db_manifest.dataset_version = "annotation_v0" LEFT OUTER JOIN db_ai_data ON db_manifest.id = db_ai_data.manifest_id AND db_ai_data.deleted = "0"WHERE db_dataset.deleted = 0GROUP BY db_dataset.id
执行计划反馈列的解释:
select_type详解:
type详解:
查询使用了何种类型,它在 SQL优化中是一个非常重要的指标,以下性能从好到坏依次是:system > const > eq_ref > ref > ref_or_null > index_merge > unique_subquery >index_subquery > range > index > ALL
system :当表仅有一行记录时(系统表),数据量很少,往往不需要进行磁盘 IO,速度非常 快。
const :表示查询时命中 primary key 主键或者 unique 唯一索引,或者被连接的部分是一个常量 (const)值。这类扫描效率极高,返回数据量少,速度非常快。
eq_ref :查询时命中主键 primary key 或者 unique key 索引, type 就是 eq_ref。
ref :区别于 eq_ref,ref 表示使用非唯一性索引,会找到很多个符合条件的行。
ref_or_null :这种连接类型类似于 ref,区别在于 MySQL 会额外搜索包含 NULL 值的行。
index_merge :使用了索引合并优化方法,一个查询使用了两个以上的索引。
EXPLAIN SELECT * FROM user_robot_relate WHERE id > 1 AND user_id = 2;
unique_subquery :替换下面的 IN 子查询,子查询返回不重复的集合。
value IN (SELECT primary_key FROM single_table WHERE some_expr)
index_subquery :区别于 unique_subquery,用于非唯一索引,可以返回重复值。
value IN (SELECT key_column FROM single_table WHERE some_expr)
range :使用索引选择行,仅检索给定范围内的行。简单点说就是针对一个有索引的字段,给定 范围检索数据。在 where 语句中使用 bettween...and、<、>、<=、in 等条件查询 type 都是 range。 从结果中看到只有对设置了索引的字段,做范围检索 type 才是 range。
EXPLAIN SELECT * FROM user_robot_relate WHERE id BETWEEN 2 AND 3;
index :Index 与 ALL 其实都是读全表,区别在于 index 是遍历索引树读取,而 ALL 是从硬盘中 读取。
ALL :将遍历全表以找到匹配的行,性能最差。
Extra :不适合在其他列中显示的信息,Explain 中的很多额外的信息会在 Extra 字段显示。
Using index:我们在相应的 select 操作中使用了覆盖索引,通俗一点讲就是查询的列被索引覆盖,使 用到覆盖索引查询速度会非常快,SQL 优化中理想的状态。
Using where:查询时未找到可用的索引,进而通过 where 条件过滤获取所需数据,但要注意的是并不 是所有带 where 语句的查询都会显示 Using where。
Using temporary:表示查询后结果需要使用临时表来存储,一般在排序或者分组查询时用到。
Using filesort:表示无法利用索引完成的排序操作,也就是 ORDER BY 的字段没有索引,通常这样的 SQL 都是需要优化的。
Using join buffer:在我们联表查询的时候,如果表的连接条件没有用到索引,需要有一个连接缓冲区 来存储中间结果。
2.3 索引
索引时帮助MySQL高效获取数据的排好序的数据结构
索引数据结构:
二叉树
红黑树
HashTable
B-Tree
一般不用二叉树的原因:有序数据将退化成链表,深度不可控,如下图所示
通常也不能用红黑树的原因:虽然压缩了深度,但深度还是不可控,海量数据查找复杂度极高
Hash表:仅支持IN查新,不支持RANGE查询。使用hash算法将内容进行hash处理 hash(aaaa) = 2 hash(bbbb) = 2 hash(cccc) = 4
B+ 树:主流的索引结构
查找过程:
1. 读取根节点所有元素,因为是有序的,可以利用二分查找,高效查找到指定区间
2. 根据指定区间文件地址找到二级节点,读取所有元素。
3. 找到叶子节点中指定元素位置。
2.4 索引查询提速原理
以B+树索引为例,
如果要查找数据项目29
1、首先进入1号块,1号块数据加载如内存,发生一次I/O
2、在内存中进行二分查找,发现29在17和35之前,于是锁定P2指针,将3号块数据加载到内存,又发生一次I/O
3、同理在3号块中走P2指针锁定8号数据块,将8号数据块加载到内存,最后发生一次I/O
4、遍历8号块的数据就能找到29号数据
如果没有索引,最坏的情况是整个表格的数据块都需要加载到内存,然后遍历出结果,将产生大量的I/O开销和对整表数据的遍历。
2.5 聚焦索引
聚焦索引尤其适合需要进行RANGE查找的列,这是因为他的叶子节点存放的是有序的数据行。在查询过程中可以根据WHERE的条件定位到两端叶子节点,然后将他们之间的整个链表结构取出。
2.6 左前缀优化原则
工程应用中经常有一些核心表需要按照多种形式查询,如果为每一种查询方式都建一个索引会影响表插入和更新的性能。
考虑到联合索引在创建时每个子列都是排好序的,比如数据表A上有一个联合缩影(a, b, c) , 那么查询where a = xxx ; where a = xxx and b = xxx都将命中缩影,因此可以利用这种特性按照业务需求设置少量联合索引覆盖多种查询需求。
假设有表A, 有如下3种高频查询
select xx from A where a = xxx;select xx from A where b = xxx;select xx from A where a = xxx and b = xxx;
最简单的办法是 分别给a b (a, b) 建索引,但这就过于啰嗦。按照左前缀原则,最合理的索引建法应该是 b 和 (a, b)。
2.7 自增主键索引
1、InnoDB所有数据都是基于B+Tree存储的,如果没有主键mysql会在所有列中选择可能唯一的列用作索 引id,如果查找不到会默认增加rowid列。
2、索引查找过程中会有大量数据比对的场景,如果使用uuid会逐位比对,效率会非常低,占用空间也会非 常大,占用过多ssd空间,存储费用增大。
3、b+tree是有序树,自增索引数据可以一直向后插入性能高,如果使用非自增索引,可能导致插入过程中 带来树分裂及平衡问题,带来额外的性能损失。
3、常规数据库优化顺序
1、检查SQL,查看执行计划,是否命中索引?是否存在大量大表关联?查询的每个字段都是必须的?...
2、加索引
3、分区
4、分表
5、改表结构,减少查询种的关联,增加冗余字段
6、加服务器,弹性主机加U加内存换SSD...
点击关注,第一时间了解华为云新鲜技术~
关键词:
-
焦点热议:Prometheus笔记-告警规则配置
告警规则Demo```yamlgroups: 告警组名称-name:host_memoryrules: 告警规则名称-alert:HighMemroy 告警规
来源: -
收评:沪指午后反弹涨0.35% AI赛道股发力 新能源行业低迷_天天信息
截至收盘,沪指报3212 5点,涨0 35%,成交3333 2亿元;深成指报10909 65点,涨0 12%,成交4871 9亿元;创业
来源: 7个工程应用中数据库性能优化经验分享
焦点热议:Prometheus笔记-告警规则配置
北京市2023年新增地方政府债务限额1117亿元
收评:沪指午后反弹涨0.35% AI赛道股发力 新能源行业低迷_天天信息
武磊:客场也能感受球迷的热爱和支持 超越一切对立_天天最资讯
手机性价比被吐槽 HTC对元宇宙是真爱:不认同降温说、非常乐观
Redmi性能王者!K60 Ultra工业设计图曝光 前沿资讯
《王者荣耀》体验服爆料:中单法师狂喜 斩杀史诗级优化
全球热消息:导航出错驶入紧急停车带 驶出时被撞 科普:紧急停车带该怎么用
全球视点!内存连续三个季度暴跌 三大厂疯狂减产!想涨价?没门儿
快报:做数据分析的常用方法有哪些?
尚硅谷Hadoop的WordCount案例实操练习出现的bug-环球新视野
JS 里如何实现异步?
如何在上架App之前设置证书并上传应用|全球今头条
海贼王:“七武海”原型揭秘!居然来自30年前游戏《浪漫沙加2》
举报比亚迪排放不达标!长城汽车晒业绩:1-4月同比增长99.1% 买它还是比亚迪?_每日精选
焦点播报:16核R9 7945HX加持!联想公布新版拯救者R9000P参数
世界百事通!法拉第未来官宣:FF 91第一阶段交付5月31日开始 车主先培训
环球视讯!促进跨区域产业链、供应链、创新链、资金链、人才链深度融合,一大批长三角G60科创走廊跨区域合作重点项目签约
广州市花都区秀全中学:720分以上学生可以考虑秀中清北班-世界微头条
易基因:MeRIP-seq等揭示m6A reader YTHDF1在结直肠癌PD-1免疫治疗中的作用|Gut 全球实时
手把手教你在昇腾平台上搭建PyTorch训练环境_天天新要闻
今日上映!《小美人鱼》豆瓣评论:难以接受黑人鱼、强凑CP、毁童年-焦点热门
即时:宝德暴芯x86处理器现身GeekBench 5:坐实就是Intel i3-10105
知名演员罗京民去世 曾饰演许三多的爹:张译等人发文悼念 焦点速递
ST浩源:截至2023年5月20日,公司股东14658户,谢谢对公司的关注!|天天最新
每个.NET开发都应该知道的10个.NET库
关于AWS中VPC下的IGW-internet gateway的创建与说明
升级天玑8200处理器:vivo S17 Pro现身Geekbench
曝小米13 Ultra欧洲售价超1.1万元:比iPhone 14 Pro、华为P60 Pro都贵_世界今日讯
全球球精选!破首发仅7499元!华硕天选4游戏本配锐龙9与RTX4060:高性价比真香
热点!散了吧!特斯拉车顶维权女车主败诉:刹车失灵观点站不住脚 没任何证据证明
《变形金刚7:超能勇士崛起》超燃特辑出炉:保时捷964街头飞车_热资讯
Netty实战(三)
上市公司实控人离婚140亿归女方,盘点彤程新材投资版图
千元神机!荣耀X50首发骁龙6 Gen1:一亿像素加持
育碧再次背离玩家!《刺客信条:幻景》PC端Steam独不占_世界百事通
一眼假的诈骗短信是骗子智商不够吗?官方:这是极高效率筛选受害者
京东618大促攻略:iPhone 14 Pro系列直降1800元 多会员年卡探底|环球视点
百度文心大模型3.5版要来了!李彦宏:大模型将改变世界 环球热门
屹通新材:5月25日融资买入167.73万元,融资融券余额3877.74万元
统信UOS系统开发笔记(一):国产统信UOS系统搭建开发环境之虚拟机安装
揭秘百度IM消息中台的全量用户消息推送技术改造实践
Python工具箱系列(三十三)
海内外直播源码加密技术保障您的隐私安全 焦点快播
Windows下使用docker部署.Net Core 全球今热点
一天斩获3个冠军!全国花游冠军赛北京队“开门红”-快看点
DXO拍照全球第一!华为P60 Pro新增12GB+256GB版本 6488元
单价6.5亿 想坐吗?国产大飞机C919商业首航来了:5月28日、上海至北京_微头条
神操作 小汽车撞倒闯红灯三轮车后居然直接走了 无责变有责
糟糕!下一轮国内油价调整“由跌转涨”:当前上调75元/吨 今日快讯
牌面!福特CEO称特斯拉不是最大竞争对手 比亚迪才是 环球新消息
环球视讯!UE/虚幻 蓝图实现通过http获取数据(以高德地图API为例)&Json格式数据的读取
标准化考场时间同步系统(网络时钟系统)规划建设应用 每日快播
Java设计模式-策略模式|环球快资讯
焦点要闻:美联储加息预期升温 美元兑日元汇率再度站上140
计算机时代变了 NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键|世界实时
【世界快播报】自研火箭发射8颗卫星 韩国表态已成航天强国:仅中美等7国做到
当前快报:跟比亚迪海豚争场子 五菱云朵8月上市:10万级大五座纯电新宠
焦点观察:优派推出新款27寸4K Mini LED显示器:支持96W反向充 2999元
山东一高速现天价救援费:20公里被收11000元 结局大快人心 观天下
世界热点!Fastjson 很快,但不适合我....
每日观点:干瘦肉炒什么配菜好吃?
一季度垃圾短信投诉5万件 官方揭秘:主要是这10家公司发的
18888元求票 五月天黄牛票涨回去了?29名黄牛被查处|当前简讯
你吃过没?商家回应淄博烧烤降温:再不降温我们也受不了|新消息
世界消息!成都一轿车冲进店铺撞坏16个骨灰盒 现场损坏严重:网友称是大众
遥遥领先!华为分布式存储斩获IO500榜全球第一:Intel看不见尾灯
裘皮是什么皮_裘皮的介绍 天天资讯
触达债务上限日期或在两周后 美债收益率延续上行_环球微头条
国际金融市场早知道:5月26日|焦点热讯
刘强东14年为宿迁投入超200亿!宿迁第一高楼启用 未来3年在当地新招上万人
世界热点评!《英雄联盟手游》今日更新:无限火力升级归来 英雄可达25级
刷新世界纪录!中国吊起142米、3068吨“巨无霸”大塔
选择商品的发布类目方式有_选择一款正确发布的商品
今日要闻!学系统集成项目管理工程师(中项)系列27_10大管理47过程、输入输出工具和技术(2版教材)
今天国内上映!《小美人鱼》来了 口碑解禁观众爱看小黑美人鱼
新概念英语语法词汇练习第一册_关于新概念英语语法词汇练习第一册简介 热点在线
调优圣经:零基础精通Jmeter分布式压测,10Wqps+超高并发 世界快资讯
直接用中文写提示词的Stable Diffusion扩展:sd-prompt-translator发布
上海高架斗气车主或涉嫌什么罪名?专家解读多种可能
天天热门:史上最大涨幅!康宁:所有玻璃基板提价20%
天天头条:让友商恨得牙痒痒的比亚迪宋Pro DM-i冠军版:到底怎么样?
视焦点讯!马斯克吹了三年的锂电之光4680:竟然还不如普通电池!
袋鼠贵为澳大利亚国宝 却每年被合法猎杀几百万只:为啥? 全球即时看
当前快播:宠物经济板块5月25日跌0.66%,狮头股份领跌,主力资金净流出7407.47万元
鼻中隔糜烂用什么药最好_鼻中隔糜烂
当前消息!新仙剑奇侠传之挥剑问情林月如怎么获得 林月如获取方法介绍
药智网数据库 高校(药智网数据库)
沪指险守3200点 外资连续3天撤离!热门题材持续活跃
头条焦点:适合女孩子玩的单机小游戏(有哪些适合女生玩的单机小游戏?)
广州47中好不好_广州市47中高中部的重点班有哪些
记录一次服务器磁盘爆满问题
君爵商务车2023款价格及图片_君爵
环球今日讯!不愧是大哥!RTX 4090游戏本实测性能拉满
环球精选!Win11年度重磅更新Moment 3发布下载:所有Win32程序皆可沙盒运行
全球热讯:iOS 17更新内容少!原来苹果把心思放在这了
2499元起!网友对小米Civi 3定价感到意外
5月25日晚间沪深上市公司重大事项公告最新快递-环球热文
6)表连接