最新要闻
- 奈雪五一小长假订单同比上涨120% 部分门店涨幅超800%|热资讯
- 【天天热闻】五一18人预付9600元订民宿遭毁约!青岛市监局立案调查
- 环球视讯!4月百城二手住宅价格跌幅扩大:挂牌量持续走高 房价走势承压
- 环球快资讯丨来了乌鲁木齐,相当于去了中东石油富豪区消费?
- 全面看齐新7系!宝马新一代5系G60外观、内饰首度公开亮相:发光双肾抢眼-全球速讯
- 门密码锁怎么加入指纹?第一次使用记住这4点 环球讯息
- 博安生物(6955.HK):地舒单抗注射液国际3期临床试验完成首例受试者入组|今日视点
- 纤薄身材也能满血发挥!耕升RTX 4070踏雪评测:2K游戏通吃的高颜值显卡 环球关注
- 购燃油车就送粤A蓝牌!广汽集团在广州推限时购车补贴
- 看不下去AI胡说八道 英伟达出手给大模型安了个“护栏”
- 世界通讯!鼠目寸光是什么生肖_鼠目寸光的意思及造句
- 2023山东东营市广饶县事业单位招聘面试通知书领取通知
- 十全食美多种零食 奥利奥大礼包39元1.6斤再发车
- 不涨价!小米13 Ultra限量定制色上架:16+512GB售价6499元
- 仙气飘飘 洛阳90后女生穿汉服开公交:展示传统文化之美
- 观察:发布整整10年后:第一代iPad Air被正式抛弃
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
报道:我设计了个【方案】:比redis好10倍的kv库【一统kv】
我设计的redis9.0方案:redis自带中间件
(资料图片)
基于ssd磁盘,此我设计了比redis更好的缓存方案。此方案:没有缓存击穿问题。没有缓存雪崩问题。没有缓存污染问题。没有热key问题。不需要snap和aof。支持任何sql库,sql库不需要带有任何分布式功能。
基于ssd磁盘,此我设计了比redis更好的缓存方案:在ssd上增加key的lru信息。从ssd到网络存储,到sql。
redis 好10倍 一统kv 1.0 博客园2023-0503,这个方案目前是1.0,方案会持续修补更新,版本号也会变。
世界上为什么没有这种3级数据库?
cpu3级缓存,大家都知道吧。cpu3级缓存的作用,大家都知道吧。就是分冷热数据,冷数据淘汰。
那么为什么世界上,没有一种【3级,冷热数据自动分层,数据库】?
--------【1级=内存级。lru队列。】--------
内存级。lru队列。队列有容量限制。存储redis兼容的数据类型。队列中的每个键值,都有一个热度值。客户端来读,已有数据:已有数据直接返回。客户端来读,但本级无数据:绝不会去读下级队列,而是返回本级没有数据。解决缓存污染问题。
整理队列:只在没有客户端读请求时做。超出lru队列的冷数据:放入写队列。写后移除。当内存空余超过多少mb时,读下级队列中,最热的100条数据。把下级热度值一并读取。
内存中,永远只有最热的key。不支持客户端,把key写入内存。
内存中的某些key,有个属性,此属性阻止key写入到ssd磁盘。这样的key断电将丢失。
--------【2级=ssd磁盘级。】--------
直读请求:1本级已有数据,返回数据,不写入上级队列。支持限制并发数。2本级无数据:则放入读取下级队列。定时从下级读取。比如每隔2秒。读取每个数据时,相邻的16k数据一同读取。返回数据,不写入上级队列。支持对客户端ip,限制并发数。比如,建立一个以客户端ip为key。ip{k1=v1; k2=v2}把已经向下级查找,但未返回的数据,写入到这个key中。给这个key设置警告容量=50,最大容量=100。则超过100,返回:太频繁的查询。支持对一批客户端ip,设定限制警告,最大并发数。
写请求:维护一个很小的缓冲区,基本每秒写入。
整理队列:lru队列:队列有容量限制。队列中的每个键值,都有一个热度值。超出lru队列的冷数据:放入写队列。定时写入下级,写后移除。几乎必须要有这个功能:从kv到非kv,比如到sql,到存储。定时计算出本级最热的100个key,算出几个,以供上级读取。
1级2级lru之间,有一个边缘。这个边缘记录在一个变量中。临近此边缘的数据,会被频繁移出,移入。有一个设定值:上级写下来的冷数据:标记为最冷-2。上级写下来的冷数据:标记为最热-100。
ssd中的某些key,有个属性,此属性阻止key写入到下级存储。这样的key断电不会丢失。但迁移时会被丢弃,导致丢失。
通过半夜运行的统计功能插件,实现热key分门别类统计,为数据分片,分集群提供建议。提供一个管理员命令,手动变更key的热度。
还可以在这个中间件中实现:1对后端3级库分库分表。2对后端3级库读写分离。3对后端3级库:从未分库分表,到分库分表,读写分离转换。4对后端3级库:从1种分库分表,读写分离,转换到另一种分库分表,读写分离的转换。5分布式cap,做在此中间件上。不需要后端数据库,带有任何分布式功能。不需要后端数据库,带有主从功能。
问:不需要后端数据库,带有任何分布式功能。为什么?问:它用什么实现的cap?答:中间件自己,通过客户端2步提交,实现了对数据库的cap。2步提交是一种传统cap的手艺,并不神奇。
6这种库(你叫中间件也可以),支持多种后端nosql,sql库。只需要,用各种语言开发插件即可。7* 功能以脚本为接口,采用插件的方式。* 支持各种语言编写的插件。* 插件运行后是独立进程。支持各种数据库的客户端。* 热变更。没有停服的概念。随时启动,停止所有功能。
集群:通过一个标签,如ip,或域名,或项目名,来标识集群peer,最终写入文件名。对于集群,提供如下管理功能:1 收。把ssd上的信息,丢弃掉不需要保存的后,从每个集群peer,按照项目备份。2 放。把备份的恢复到ssd上。3 整理热key。根据key的热度,在每个peer上平均key。通过这一点,可以达到热key永远平均分布在每个peer。经过热key重新分布后,在每个peer上的键值对,和项目无法一一对应。即节点1上,有项目125的热key。
--------【3级=网络存储。】--------
不分冷热,存有所有数据。
--------【3级=任意sql,nosql数据库。数据库不需要带cap,数据库不需要带主从。】--------
不分冷热,存有所有数据。与上述3互斥。
--------【此数据库的特性:】--------
1必须有2级存储。即必须使用ssd。
2程序永远只操作redis的kv对象,不关心是否有sql。后端库sql库不关心kv功能。因为所有的活,都被这个库中的2级缓存中的,中间件干了。
3对于一个冷读取,至少需要等待3秒:即从3级库hdd磁盘到2级磁盘等2秒,从2级磁盘到1级ssd等1秒。
4对于每个写请求:可选写入:4-1内存表示写入成功,4-2写入ssd表示写入成功,4-3写入hdd磁盘表示成功,4-4写入分布式库表示成功。4-1会丢数据。丢数据情况为:断电,进程死机,数据被列入队列抛弃。234不会。这其中,最不重要的数据写入4-1,其次大多数写入4-2,剩下所有重要的数据写入4-4。从4-2,到4-3,或到4-4,只能管理员手动操作。给管理员提供一个命令即可。
5不需要redis的snap,和aof,落盘功能。因为上述234保证了数据安全。
ssd2级磁盘,相当于redis的snap。hdd3级磁盘,相当于redis的snap的snap。但又不是单纯的snap。这里面有很多种玩法。
5-1 hsnap比ssnap更大。是数据库,这样就不需要任何sql数据库,nosql库。5-2 hsnap文件的大小,格式,都可以自定义。5-3 hsnap可以带上域名,服务器ip。这样就成了分布式缓存。如此一来只需要网络上的2个副本,redis3主3从集群也没必要了。
6redis只是缓存,不能当库用。redis不存冷数据,但这个库可以。redis存储空间有限,但这个库可以看做空间无限。
6没有缓存击穿问题。没有缓存雪崩问题。没有缓存污染问题。没有热key问题。
--------【结论】--------
内存缓存 ---> ssd硬盘 ---> 网络存储上的文件内存缓存 ---> ssd硬盘 ---> nosql,sql数据库 <--- 数据分析工具
问:为什么说redis集群没必要了?为什么说redis集群错了?
答:
网络磁盘分为:【单台】,【冗余】。对于自带冗余的网络磁盘,我们只需要简单的写入1台即可。这里我们只谈:【单台】。单台需要从ssd读取,写入到所有2台【单台】网络磁盘。这里采用2步提交即可。对于从【ssd】到【nosql,sql数据库】也是采用2步提交。也就是说redis的集群,维持心跳,都没必要。我再说明白点:1客户端给ab提交,带着uuid,和写入时间,只要成功写入其中1台ssd即可。2读的时候,任意1台客户机读成功即可。
redis集群特色:每个集群节点,只有部分数据。通过分插槽的方法,尽量平均读写压力。
本架构集群特色:
集群服务器不需要选主。没有raft。不需要3,5节点。支持1-4节点。
每个节点【最多】只需要2台网络副本,简称网络raid1。不分主,从。基于2级磁盘ssd,可以人为手动,或配置文件自动,分库,分表,合库,合表。继而实现:分节点,合节点。
集群客户端:
每个集群节点内存中,内有个key,含有所有集群的节点的ip,端口,版本。此key永远存在内存中。客户端来读,非本集群的key,返回错误。客户端来写,非本集群的key,返回错误。或者说从客户端,选择返回数据的服务器。即,假如客户端不知道某key所在的节点,客户端首次读写某key,需要遍历所有服务器。得到某个key所在的服务器后,会把本key的服务器ip,端口,写在本地。也就是说,客户端维持每个key的服务器属性。这个属性,保存到磁盘上。当服务器上的key,迁移到其他服务器后,不会通知客户端,只会返回错误。此时,客户端将从新遍历服务器,以查找key的所在。
假设集群有10个节点,那么客户端最多读10次,才能读到key值。为了给这个操作提速,可以增加一个【key索引服务器】。【key索引服务器】也是一个内存kv库。它频繁从10个节点上的ssd中,读key,然后建立索引。有了【key索引服务器】,客户端只需要2次,即可读到key值:1读key索引服务器,返回此key所在的peer的ip,记录在本地。2从peer的ip,读取值。很显然,集群节点少的情况,不需要【key索引服务器】。
问:为什么说redis的snap错了?
答:客户端进来的数据,直接写入ssd,相当于aof。因为本架构不需要snap。本架构没有snap过程。在本架构中,1级缓存写入数据到ssd,必须经过lru。分buffer,分时段,写入。这个过程最多耗时1-2秒。即分片写入。而进程重启后,从下级ssd缓存读取,也只选择ssd盘上lru队列中的topn条数据,塞满内存缓存的95%即可。或者说redis的缺点是:snap保存到磁盘时,丢失了lru队列信息。
--------【关于名字】--------
中文名字:一统kv英文名字:kvAIO
这个数据库架构,我看不但能够一统kv,还能一统db。
关键词:
-
ios app真机测试到上架App Store详细教程-必看 快播
>转载:https: blog csdn net p312011150 article details 89374401iosapp真机测试到上架AppStore详细教
来源: 报道:我设计了个【方案】:比redis好10倍的kv库【一统kv】
Apache Pulsar 在火山引擎 EMR 的集成与场景
PA 2022 部分题解_环球热门
ios app真机测试到上架App Store详细教程-必看 快播
奈雪五一小长假订单同比上涨120% 部分门店涨幅超800%|热资讯
【天天热闻】五一18人预付9600元订民宿遭毁约!青岛市监局立案调查
环球视讯!4月百城二手住宅价格跌幅扩大:挂牌量持续走高 房价走势承压
Hadoop运行集群搭建-世界速读
golang基础知识 环球快讯
聚焦:用手机号码归属地 API 开发的应用推荐
环球快资讯丨来了乌鲁木齐,相当于去了中东石油富豪区消费?
全面看齐新7系!宝马新一代5系G60外观、内饰首度公开亮相:发光双肾抢眼-全球速讯
门密码锁怎么加入指纹?第一次使用记住这4点 环球讯息
让Visual Studio用上chatgpt
【解决方法】白嫖利用WPS自带C盘清理大师,清理C盘空间,自测清理19.5G空间,太感人了! 当前快播
Linux安装部署Redis(超级详细)-全球看热讯
博安生物(6955.HK):地舒单抗注射液国际3期临床试验完成首例受试者入组|今日视点
纤薄身材也能满血发挥!耕升RTX 4070踏雪评测:2K游戏通吃的高颜值显卡 环球关注
购燃油车就送粤A蓝牌!广汽集团在广州推限时购车补贴
看不下去AI胡说八道 英伟达出手给大模型安了个“护栏”
世界通讯!鼠目寸光是什么生肖_鼠目寸光的意思及造句
世界微资讯!热门的常用 API 大全分享
观速讯丨Spring AOP官方文档学习笔记(三)之基于xml的Spring AOP
播报:常见未授权访问漏洞汇总
每日播报!AD主辅域控切换-辅域控制器升级为主域控制器-详细操作
Excel文件根据自定义模板生成标签或数据报表
2023山东东营市广饶县事业单位招聘面试通知书领取通知
u18包括18岁吗?足球比赛中的u系列是什么意思?
英雄联盟150位英雄名字是什么?2022lpl夏季赛赛程表
iphone手机看电子书能用什么格式?iphone电子书APP推荐
NBA 2K14存档文件在哪里?nba2k14电脑版键盘操作
十全食美多种零食 奥利奥大礼包39元1.6斤再发车
不涨价!小米13 Ultra限量定制色上架:16+512GB售价6499元
仙气飘飘 洛阳90后女生穿汉服开公交:展示传统文化之美
观察:发布整整10年后:第一代iPad Air被正式抛弃
刺客信条系列中哪个最好玩?刺客信条奥德赛选男还是女?
阿迪达斯官网买的产品是正品吗?阿迪达斯和耐克是什么关系?
承重墙允许开洞最大尺寸是多少?承重墙拆了要承担什么责任?
安陵容知道是宝鹃害她的吗?甄嬛传当年火到什么程度?
广交会里的“大食物观” 食品企业坚持科技创新|全球今日报
只种一颗杨梅树会结果吗?宏宝莱杨梅冰多少钱一袋?
怎么改蚂蚁庄园小鸡的名字?蚂蚁森林如何修改自己的昵称?
天天微速讯:学系统集成项目管理工程师(中项)系列17a_范围管理(上)
使用python查看五黄及罗猴
世界百事通!【访问者设计模式详解】C/Java/JS/Go/Python/TS不同语言实现
THE PLANETS MERCURY -环境变量的设置提权以及SETENV的理解
嵌入式测试手册——基于NXP iMX6ULL开发板(2)
gta4热咖啡补丁下载_GTA4热咖啡
京口法院微电影把诈骗“演”给你看|世界热门
五一假期返程现特种兵式学习:小学生高铁小桌板上疯狂赶作业
1盒不到3元!特仑苏全脂/低脂牛奶大促:高蛋白 易吸收
世界简讯:AMD正式发布锐龙7040U APU:最先进4nm Zen4、15W超低功耗
“非洲狮的好朋狗”?动物园回应圈养鸡羊狗:珍稀品种 非普通家禽|每日观点
320.37万人次,42.32亿元!海南“五一”旅游成绩单出炉 今日热文
观热点:第1章 大数据概述
世界热点评!内网穿透
工控机中部署Ubuntu 22.04 系统
【财经分析】贝泰妮高增长不再 股价跌去六成后能否再出发?
全球热点评!众智科技:4月28日获融资买入89.58万元,占当日流入资金比例19.76%
特斯拉中国突然涨价 销售催“等等党”赶紧下单:早买车就是赚到
路人如何衡量汽车品牌营销费用高低?李想支了一招:看留言-天天速讯
止渴解腻夏日必备!果舒拉桂花酸梅晶好价:3盒券后29.9
男子在西湖捞手机日入约一万!官方回应:不是景区工作人员
热火老将乐福本赛季中期从骑士买断加盟
襄阳市市场监管局开展“你点襄检”专项执法行动_全球头条
【国际大宗商品早报】经济衰退前景打压国际油价大幅下挫4% 美麦涨超5% 当前关注
中国影史第三!今年五一档电影总票房超15亿元
【天天播资讯】40系显卡3大优势!再买30系就冤了
世界热议:喂到嘴边的肥肉!新势力无奈破产:富士康喜提造车工厂一座
阿里云:亏了13年刚赚钱 为啥被逼着五折大促销?
世界热资讯!916万人次假期逛郑州 尽享“文化味”“烟火气”
通过Python进行MySQL表信息统计
互联网鬼城!AI专属社交平台爆火:人类只能看不能说_全球最新
小米13 Ultra白色16GB+1 TB版今日首发:7299元
成交单价突破42万元 比亚迪:腾势D9连续4个月30万元以上新能源MPV第一
中远海发(02866.HK):5月3日南向资金减持98.5万股
芍药坦荡荡
云原生底座之上,这些企业领跑行业的秘密
二、高级语言语法描述
降价9万后雪铁龙C6销量暴涨!总经理:价格战对品牌有伤害
环球今日报丨李想怒怼车评媒体人:不投放你 就是因为你太爱煽风点火
骁龙8+平板只要2399!小米是懂人性弱点的-天天热讯
全网千万人学鼻子转牙签 详细教程在此:你学废了吗? 前沿热点
实时焦点:必胜韩国语园地原声韩剧在线观看_必胜韩国语园地
斩赤红之瞳结局谁活着_斩赤红之瞳结局
快消息!时隔7年季后赛再拿两双 两次重伤打不垮辽宁铁人
动态物体追踪 每日简讯
一季度苹果手机均价6800元 iPhone 14 Pro最畅销|全球即时看
上海漫展惊现“女菩萨”:还真有人顶礼膜拜-全球热头条
ASP.NET Core MVC 从入门到精通之HttpContext
24 操作系统的网络架构
AMD RX 7000全家倾巢出动 卡皇现世!苏姿丰:敬请期待
热心大哥高铁怒斥熊孩子家长获喝彩:掌声响起-世界最新
各地陆续迎来假期返程高峰
热推荐:汽油价格还要再大降?国际油价已跌超5%
全球今头条!徐州市人力和社会资源保障局网站_徐州市人力资源和社会保障网
最新:马斯克的星舰首飞:到底是成功了?还是失败了?
五一返程高峰遇强降雨 多地堵上加堵:局部140毫米大暴雨-热消息
天文专家回应哈尔滨现不明飞行物:可能是卫星残骸 没必要恐慌 每日资讯
KubeVela 稳定性及可扩展性评估_环球微动态