最新要闻
- 世界看热讯:人社部要求各地充分挖掘就业渠道 兜牢青年就业底线
- 焦点消息!搞事情?日本、韩国科学家联手发现未知铀同位素 半衰期超短
- 世界信息:锐龙7 7800X3D闪电登上热销第一!锐龙9 3D立刻大降价
- 天天新消息丨比亚迪云辇系统重要信息提前透露:为智能车身控制
- iPhone 8以上都能用!中国广电5G宣布:已全面支持iPhone
- 环球消息!一人之下!特斯拉任命朱晓彤为汽车业务高级副总裁
- 世界最新:研究:ChatGPT影响用户道德判断
- 低至2.5折!Epic春季特卖来了:超1800款游戏便宜卖
- RTX 4070官方走光:NVIDIA声称4799元很便宜!
- 全球看点:为了逃离俄罗斯:美国思科狠心销毁1.6亿元设备
- 当前速看:沙特俄罗斯减产 油价看高至100美元:美国难受 但日韩最遭殃
- 全球快报:昊华科技:4月6日融资买入87.08万元,融资融券余额9058.06万元
- 今日快讯:姆总很生气!头号射手和大巴黎翻脸,想要姆巴佩原谅必须得加钱
- 【独家焦点】王者面前蹦迪 本田思域高速见缝插针式变道被撞惨
- 今日观点!人死后葬礼要花多少钱?为什么现在的死亡成本这么高?
- 全球微速讯:百元级主板也能上游戏神U 微星A620升级支持锐龙7 7800X3D
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
天天最新:分库分表以后如何对非Sharding键进行查询?
大家好呀,我是飘渺!
通过上篇文章我们知道了一个结论:那就是对于toC的业务,需要选择用户属性如 user_id 作为分片键。
(资料图)
那问题来了,对于订单表来说,选择了user_id作为分片键以后如何查看订单详情呢?比如下面这样一条SQL:
SELECT * FROM T_ORDER WHERE order_id = 801462878019256325
由于查询条件中的order_id不是分片键,所以需要查询所有分片才能得到最终的结果。如果下面有 1000 个分片,那么就需要执行 1000 次这样的 SQL,这时性能就比较差了。
可以通过ShardingSphere-JDBC生成的SQL得知,根据order_id查询会对所有分片进行查询然后通过UNION ALL
进行合并。
但是,我们知道 order_id 是主键,应该只有一条返回记录,也就是说,order_id 只存在于一个分片中。这时,可以有以下三种设计:
- 冗余数据法
- 索引表法
- 基因分片法
当然,这三种设计的本质都是通过冗余实现空间换时间的效果,否则就需要扫描所有的分片,当分片数据非常多,效率就会变得极差。
下面我们逐一分析。
设计一:冗余法
这种做法很容易理解,同一份订单数据在插入时保存两份,根据user_id 和 order_id分别做两个分库分表的实现。
通过对表进行冗余,对于 order_id 的查询,只需要在 order_id = 801462878019256325
的分片中直接查询就行,效率最高。但是这个方案设计的缺点又很明显:冗余数据量太大。
方法二:索引表法
索引表法是对第一种冗余法的改进,由于第一种方案冗余的数据量太大,所以索引表方案中只创建一个包含user_id和order_id的索引表,在插入订单时再插入一条数据到索引表中。
表结构如下
CREATE TABLE idx_orderid_userid ( order_id bigint user_id bigint, PRIMARY KEY (order_id))
在实现时可以将idx_orderid_userid表通过Redis缓存来代替,如果此表数据量很大也可以将其分库分表,但是它的分片键是 order_id。
如果这时再根据字段 order_id 进行查询,可以进行类似二级索引的回表实现:先通过查询索引表得到记录 order_id = 801462878019256325
对应的分片键 user_id 的值,接着再根据 user_id 进行查询,最终定位到想要的数据,如:
原始SQL:
SELECT * FROM T_ORDER WHERE order_id = 801462878019256325
拆分后的SQL:
# step 1SELECT user_id FROM idx_orderid_userid WHERE order_id = 801462890610556951# step 2SELECT * FROM T_ORDER WHERE user_id = ? AND order_id = 801462890610556951
这个例子是将一条 SQL 语句拆分成 2 条 SQL 语句,但是拆分后的 2 条 SQL 都可以通过分片键进行查询,这样能保证只需要在单个分片中完成查询操作。不论有多少个分片,也只需要查询 2个分片的信息,这样 SQL 的查询性能可以得到极大的提升。
方法三:基因法
通过索引表的方式,虽然存储上较冗余全表容量小了很多,但是要根据另一个分片键进行数据的存储,还是显得不够优雅。
因此,最优的设计,不是创建一个索引表,而是将分片键的信息保存在想要查询的列中,这样通过查询的列就能直接知道所在的分片信息,这种方法也叫叫做基因法。
基因法的原理出自一个理论:对一个数取余2的n次方,那么余数就是这个数的二进制的最后n位数。
假如我们现在根据user_id进行分片,采用user_id % 16的方式来进行数据库路由,这里的user_id%16,其本质是user_id的最后4个bit位 **log(16,2) = 4 ** 决定这行数据落在哪个分片上,这4个bit就是分片基因。
如上图所示,user_id=20160169的用户创建了一个订单(20160169的二进制表示为:1001100111001111010101001)
- 使用user_id%16分片,决定这行数据要插入到哪个分片中
- 分库基因是user_id的最后4个bit,log(16,2) = 4,即1001
- 在生成order_id时,先使用一种分布式ID生成算法生成前60bit(上图中绿色部分)
- 将分库基因加入到order_id的最后4个bit(上图中粉色部分)
- 拼装成最终的64bit订单order_id(上图中蓝色部分)
这样保证了同一个用户创建的所有订单都落到了同一个分片上,order_id的最后4个bit都相同,于是:
- 通过user_id %16 能够定位到分片
- 通过order_id % 16也能定位到分片
不好理解的话,可以看下面这段代码:
@Testpublic void modIdTest(){ long userID = 20160169L; //分片数量 int shardNum = 16; String gen = getGen(userID, shardNum); log.info("userID:{}的基因为:{}",userID,gen); long snowId = IdWorker.getId(Order.class); log.info("雪花算法生成的订单ID为{}",snowId); Long orderId = buildGenId(snowId,gen); log.info("基因转换后的订单ID为{}",orderId); Assert.assertEquals(orderId % shardNum , userID % shardNum);}
运行结果如下:
原始订单ID为1595662702879973377
,通过基因转换后ID变成了1595662702879973385
,对于用户id 和 新生成的订单id对其取模结果一样。
上面那种做法是基因替换,替换掉订单id的分片基因。下面这种做法就更显直接。
将订单表 orders 的主键设计为一个字符串,这个字符串中最后一部分包含分片键的信息,如:
order_id = string(order_id + user_id)
那么这时如果根据 order_id 进行查询:
SELECT * FROM T_ORDERWHERE order_id = "1595662702879973377-20160169";
由于字段 order_id 的设计中直接包含了分片键信息,所以我们可以直接通过分片键部分直接定位到分片上。
同样地,在插入时,由于可以知道插入时 user_id 对应的值,所以只要在业务层做一次字符的拼接,然后再插入数据库就行了。
这样的实现方式较冗余表和索引表的设计来说,效率更高,查询时可以直接定位到数据对应的分片信息,只需 1 次查询就能获取想要的结果。
这样实现的缺点是,主键值会变大一些,存储也会相应变大。但是只要主键值是有序的,插入的性能就不会变差。而通过在主键值中保存分片信息,却可以大大提升后续的查询效率,这样空间换时间的设计,总体上看是非常值得的。
实际上淘宝的订单号也是这样构建的
上图是我的淘宝订单信息,可以看到,订单号的最后 6 位都是 607041,所以可以大概率推测出:
- 淘宝订单表的分片键是用户 ID;
- 淘宝订单表,订单表的主键包含用户 ID,也就是分片信息。这样通过订单号进行查询,可以获得分片信息,从而查询 1 个分片就能得到最终的结果。
小结
分库分表后需要遵循一个基本原则:所有的查询尽量带上sharding key,有时候业务需要根据技术限制进行妥协,那种既要...又要...就是在耍流氓。
当然有些业务场景确实没办法避免,对于非sharding key的查询可以参考上面三种方案实现,不过实际上只能算两种。
曾经在面试时我还被问到过这个问题~
今天的文章是属于理论知识,Talk is cheap,Show me the code!
接下来两篇文章我将结合ShardingSphere-JDBC实现上述两种方案,系列文章欢迎持续关注。
关键词:
天天最新:分库分表以后如何对非Sharding键进行查询?
全球最新:Flutter 的优缺点及前景
世界看热讯:人社部要求各地充分挖掘就业渠道 兜牢青年就业底线
焦点消息!搞事情?日本、韩国科学家联手发现未知铀同位素 半衰期超短
世界信息:锐龙7 7800X3D闪电登上热销第一!锐龙9 3D立刻大降价
天天新消息丨比亚迪云辇系统重要信息提前透露:为智能车身控制
iPhone 8以上都能用!中国广电5G宣布:已全面支持iPhone
环球消息!一人之下!特斯拉任命朱晓彤为汽车业务高级副总裁
世界最新:研究:ChatGPT影响用户道德判断
低至2.5折!Epic春季特卖来了:超1800款游戏便宜卖
读SQL进阶教程笔记09_HAVING上
【全球聚看点】【读财报】3月上市公司再融资动态:定增实际募资693亿元 邮储银行、中核钛白募资额居前
RTX 4070官方走光:NVIDIA声称4799元很便宜!
全球看点:为了逃离俄罗斯:美国思科狠心销毁1.6亿元设备
当前速看:沙特俄罗斯减产 油价看高至100美元:美国难受 但日韩最遭殃
全球快报:昊华科技:4月6日融资买入87.08万元,融资融券余额9058.06万元
【新视野】2、XmlBeanFactory 的类图介绍.md
全球观点:执行orachk检查数据库环境
今日快讯:姆总很生气!头号射手和大巴黎翻脸,想要姆巴佩原谅必须得加钱
【独家焦点】王者面前蹦迪 本田思域高速见缝插针式变道被撞惨
今日观点!人死后葬礼要花多少钱?为什么现在的死亡成本这么高?
全球微速讯:百元级主板也能上游戏神U 微星A620升级支持锐龙7 7800X3D
麦当劳是怎么在年轻人心中封神的?
卫生间、厨房还是阳台? 新房装修洗衣机真不能随便放
春泉产业信托(01426.HK)4月6日回购6万个基金单位
【聚看点】数据库系统原理之数据管理技术的发展
每日速读!《泰坦尼克号》女主参演阿凡达2上热搜:对大海有执念
每日焦点!GPD Win Max掌机抢先升级AMD 4nm Zen4!核显无敌
每日信息:104MB缓存灭掉i9-13900KS!AMD锐龙7 7800X3D正式开卖:3299元神性价
热门看点:摩托车驾驶证到期怎么换(摩托车驾驶证到期换证流程)
【新视野】Python + edge-tts:一行代码,让你的文本轻松变成语音!
RL 的探索策略 | Exploration for RL
全球讯息:ORACLE数据库中ORACLE_SID与INSTANCE_NAME的差异
全球观点:geant4基础操作
全球动态:应急响应基础技能
全球速递!兴业银行上线人民币跨境支付系统债券通直通服务
天天快资讯:【财经分析】宏观经济预期改善支撑英镑兑美元汇率走高
女友争吵后高速路上要跳车 宝马男急忙应急车道 现场火药味十足
全球速看:不怵清华北大的中南大学:正批量造富
巨石强森演《终结者》T800是啥样?AI绘制以假乱真
焦点关注:债市日报:4月6日
天罡股份4月13日北交所上会:参与20多项行业标准和技术规范制定
超导石墨烯一粒用三年!南孚传应纽扣电池5粒只要7.9元
环球快资讯丨猩猩被游客扔瓶子砸头后扔回反击 动物园回应被教坏了:网友直呼做的对
ROG游戏手机7 Pro外观曝光:经典电竞小屏、横向三摄
【焦点热闻】Springboot+HTML5+Layui2.7.6上传文件【请求上传接口出现异常】
4299元 宏碁XV275K P3显示器上架:4K Mini LED屏、160Hz高刷
网友29元坐高铁商务座 薅到零食、盒饭“羊毛”!网友热议
【天天快播报】老版本被放弃!Steam将终止对macOS 10.11/10.12系统支持
日本人要搞二次元老婆版ChatGPT:感觉AI成人娃娃也快来了
环球今日讯!女子突然呼吸困难地铁工作人员为她戴严口罩:网友竟然齐声叫好!
生日礼物女生送什么好_女生送这些生日礼物好
当前热议!在线商城爬虫 带爬取记录 以11TREET 为例
世界消息!AIRIOT赋能水务行业深度转型,打造智慧水务“四化建设”
焦点热议:常用Content-Type汇总
天天简讯:用powershell开发跨平台动态网页
当前信息:美国男子承认掰断兵马俑手指并偷走 最严只用服刑2年
速递!20个环球飞车同时炸场!小刀电动车通过暴力测试:比杂技还好看
谷歌亚马逊提供丰厚补偿鼓励离职:悬赏一年薪水
当前速看:女子看手机下楼梯踩空导致脸着地 经检查脸部多处擦伤
【全球热闻】海尔卖成2022全球第一家电品牌!韩国不愿意了:声称LG才是老大
世界视讯!记录-关于console你不知道的那些事
世界今头条!半天时间写完一个案例,循序渐进的掌握uni-app,使用uni-app完成一个简单项目——新闻列表
焦点速讯:【财经分析】多空因素交织博弈 债市尚无近忧仍有远虑
视点!锂价跌破25万“生死线”,锂矿停产挺价?宜春锂业三巨头澄清,传闻不靠谱!
每日简讯:FIFA国家队排名:国足下降至81位 美加墨世界杯出线有希望
还有谁!比亚迪ATTO 3连续5个月蝉联以色列全系单车销冠
环球热点!网友点赞小米之家:线下免费送父母智能手机使用指南 还教用微信
全球快资讯丨苹果虚拟现实头显设备即将到来!果粉不感兴趣
【天天报资讯】不妙!国内油价预计大涨0.4元/升 4月17日起调整
报道:Mysql LOAD DATA读取客户端任意文件
python中动态导入文件的方法
小程序容器助力企业小程序开放平台打造
每日动态!记录一次小程序中讨厌的拍照上传的优化
世界热讯:开心档之C++ 多态
每日聚焦:为节约开支 英国打算用驳船“装”移民
每日看点!首搭长城Hi4电四驱 哈弗枭龙MAX官图发布:博主直言价格合理必卖爆
大疆Mavic 3 Pro无人机曝光:升级三枚摄镜头 奔着2万元去了
上百人进山挖黄金引网友围观!官方回应:挖的是昆虫 被称“土黄金”
世界即时看!马斯克74岁超模妈妈参观特斯拉上海超级工厂:夸赞制造完美、质量过硬
革命性全彩电子纸问世:媲美最先进纸质印刷品 明年量产上市
即时:图解 SQL 执行顺序,通俗易懂!
网上说低代码的一大堆,JNPF凭什么可以火?
环球报道:不管车贵不贵,十万里程后,此3种零件该换就换,别省钱关乎生命
为蹭车位男子当街换车牌被罚5000:驾照十二分也没了
当前热文:苹果服务器再出故障:iCloud、iMessage崩了
世界今头条!曾传乐视靠《甄嬛传》活着 乐视将推85英寸甄嬛传限量电视
当前快播:徕卡超大杯首次进军海外!小米13 Ultra将全球上市
焦点速递!89元 小米米家电动牙刷T200C发布:Type-C充电 续航25天
当前热文:W1R3S
天天热讯:数位dp
今日看点:kill 进程时遇到的一件有意思的事情
焦点速讯:黑夜传说演员表_传说演员表
全球新动态:比尔·盖茨反击马斯克:暂停AI的发展并不能解决问题
每日报道:比亚迪海龙等4款超跑概念图亮相!你觉得哪款最帅?
环球讯息:长城汽车:一位新能源砖家 利润高可能是因为新能源卖的差
狠人!印度一男子爬火车摸25000伏高压电 瞬间成火球吓坏网友
重点聚焦!104MB缓对锐龙7 7800X3D核显无用:鸡血提升不存在
全球热资讯!SpringBoot中如何编写一个优雅的限流组件?
环球今热点:一文快速了解火山引擎 A/B 测试平台