最新要闻
- 助数字人民币“飞入寻常百姓家”
- 国外玩家吐槽PS发布会拉跨:是不是最差的一届?-环球新资讯
- 消失70多年 一度被认为灭绝:广西发现珍稀植物巨型蜘蛛抱蛋
- 世界今日讯!AMD超算三连冠!唯一投入实用的百亿亿次
- 高性价高颜值轻薄本代表作!华硕无畏15 2023 4299元首发抢购中|世界快播
- 焦点速读:老人遛狗不牵绳还将猫踢飞 网友吵翻:这是在保护猫 你怎么看?
- 文物 | 博物馆文物的数字化保护与管理
- 马上就要过期的食品打一折:能买吗?安全吗?
- 马斯克计划打造世界第三大AI公司 或整合特斯拉和推特
- 世界快报:强对流天气预警:今天起 多地将有8-10级雷暴大风或冰雹
- 奇丑无比的洞洞鞋凭啥风靡全球?但是 绝对别穿它上扶梯-天天热消息
- 蔚来ES6上市当天 李想立下flag:10月份理想L7月销破2万辆_前沿热点
- 天天动态:弃“元”投“AI”,传百度副总裁马杰加入创新工场,成立AIGC公司
- 美媒:无人机袭击克宫或为乌特别部门策划-全球热讯
- 36.8万起!蔚来全新ES6开卖:激光雷达、零百4.5秒 会成爆款吗
- 入门即高配!比亚迪宋Pro DM-i冠军版今日上市:纯电续航再提升
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
SRE心里话:要求100%服务可用性就是老板的无知_环球信息
《SRE Google 运维解密》第3章讲了拥抱风险,一些关键的观点,在这里与大家分享,融入了我自己的一些理解,希望对你有些帮助。
服务可用性必须100%?其实完全没必要
(资料图)
一个服务客户的产品,不需要追求极端的可用性,因为实在是没有必要。比如一个论坛服务,用户使用智能手机来访问,手机本身有可能故障,手机的蜂窝网络可能出问题,如果用的 wifi 本地路由器可能出问题,小区宽带可能出问题,运营商的骨干网可能出问题,这些都不是论坛服务能够控制的。简单来说,用户在一个有着 99% 可靠性的智能手机上,是不能分辨出 99.99% 和 99.999% 的服务可靠性的区别的。
高可靠性带来高成本
99.99% 的可用性,每年不可用时长不能超过 53 分钟,如果是 99.999% 的可用性,每年不可用时长不能超过 5.3 分钟。多了一个 9,不可用时长只是缩减了 47.7 分钟,但是付出的成本可能是巨大的,需要衡量 ROI 是否值得。成本通常来自两个方面:
- 冗余物理服务器/计算资源的成本
- 机会成本
机会成本是说,我们把过多的人力投入到稳定性建设上了,导致投入到业务功能开发的人力就变少了,这个机会成本是很难估量的,但是很重要。
如何度量可用性
通常的做法是按照计划外停机时间来度量,比如:
可用性 = 系统正常运行时间 / (系统正常运行时间 + 系统计划外停机时间)
这个计划外停机时间,通常是指系统不可用的时间,比如系统崩溃了,或者系统的某个功能不可用了,或者系统的某个功能的性能下降了,都可以算作计划外停机时间。与计划外停机时间相对的,显然是计划内停机时间,偶尔通知用户,说凌晨3点我会做系统升级,计划停机3分钟,这个3分钟就是计划内停机时间,这3分钟内的不可用,不影响SLA。
但是,很多系统都是分布式的,尤其是 Google,一个服务,通常不会完全不可用,可能某个 region 不可用,但是其他 region 还可用,所以,大型互联网公司的服务通常是不会 100% 不可用的,可能会部分不可用,此时这个计划外停机时间就不好计算了。怎么办?使用请求数量来统计,可用性计算公式变成:
可用性 = 成功请求数 / 总的请求数
这是服务可用性的度量方法,一个大型互联网公司可能有几千个微服务,老板问技术团队,咱们今年的可用性如何?显然没法使用服务层面的数据,那就把众多微服务做个加权平均?也不那么说得通!那公司整体业务的 SLO 应该怎么算?一般是看业务指标,分享一下滴滴的做法,滴滴最核心的业务就是打车,核心就看打车的订单量,如果订单量下跌 10%,就开始计算不可用时长,这是整个公司最重要的可用性指标。这种指标称为北极星指标,我们现在创业就专门做了一个北极星指标的产品,对北极星指标做 VIP 级别的保障。详情可以了解这里。
谁来制定SLO?
在 Google,对于服务于终端用户的产品,通常有个产品技术团队,是这个服务的「商业所有者」,这个团队明确知道自己的商业目标,可以拍板 SLO。因为:SLO 最终是服务于商业目标的!
通常来讲,线上 70% 的故障是变更导致的,更好的 SLO 意味着线上变更的频率会降低,但是低频的变更,就意味着有些功能 feature 不能尽快发布给终端用户,终端用户的体验就会变差,竞争对手可能有更花哨好用的功能,我们无法及时跟进。那好,那就更快的变更,更快的变更通常意味着稳定性变差,所以就需要权衡了,这本质上是一个商业取舍,所以,需要商业所有者来拍板。而这个商业所有者,对于服务于终端用户的产品,通常就是产品团队,最终可能是这个业务的负责人最终拍板。
服务于内部的基础设施,比如 BigTable 这样的服务,没有终端用户,那谁来拍板?基础设施类服务,通常是服务于内部其他服务的,此时应该是 BigTable 的研发团队和上游服务所有者一起拍板,制定 SLO。
BigTable 可能同时服务两类上游服务,举例:一类上游服务是面向终端用户的,他们需要更低的延迟,另一类上游服务可能是离线任务,在 BigTable 里存储离线分析数据,他们需要更大的吞吐。低延迟的上游服务希望 BigTable 的请求队列(几乎总是)为空,这样系统可以立刻处理每个出现的请求。而离线分析的上游服务,需要更高的吞吐,希望 BigTable 繁忙,希望请求队列永远不为空。如果拿请求队列长度作为 SLO,就尴尬了...
所以,对于差异化要求比较大的基础设施,通常会拆分成不同的集群,提供不同维度的 SLO。
提升 SLO 的时候要注意 ROI
举个例子,假设某个服务每一个请求的价值是一样的:
- 可用性目标希望从 99.9% 提升至 99.99%
- 增加的可用性:0.09%
- 服务收入:100万美金
- 改进可用性后的价值:100万 * 0.09% = 900 美金
可用性提升一个 9,收益是 900 美金,如果提升一个 9 的成本低于 900 美金,就是划算的,如果高于 900 美金,就是不划算的。
SLO和错误预算构建过程
- 产品管理层定义一个 SLO,确定一项服务在每个季度预计的正常运行时间
- 实际在线时间是通过一个中立的第三方来测算的:我们的监控系统
- 这两个数字之间的差值就是这个季度中剩余的不可靠性预算
- 只要测算出的正常在线时间高于 SLO,也就是说,只要仍然有剩余的错误预算,就可以发布新的版本
扩展阅读
- 快猫星云可观测性产品,专注故障定位止损、稳定性治理
- 夜莺专业版,提供增强监控的能力,提供可观测性专家经验
- 告警事件统一OnCall中心,解决告警降噪、排班、认领、升级、协同的需求
关键词:
SRE心里话:要求100%服务可用性就是老板的无知_环球信息
助数字人民币“飞入寻常百姓家”
国外玩家吐槽PS发布会拉跨:是不是最差的一届?-环球新资讯
消失70多年 一度被认为灭绝:广西发现珍稀植物巨型蜘蛛抱蛋
世界今日讯!AMD超算三连冠!唯一投入实用的百亿亿次
高性价高颜值轻薄本代表作!华硕无畏15 2023 4299元首发抢购中|世界快播
焦点速读:老人遛狗不牵绳还将猫踢飞 网友吵翻:这是在保护猫 你怎么看?
焦点资讯:5人5月用容器技术保卫蓝天
关于 Workstation Pro 的基础知识
文物 | 博物馆文物的数字化保护与管理
马上就要过期的食品打一折:能买吗?安全吗?
马斯克计划打造世界第三大AI公司 或整合特斯拉和推特
世界快报:强对流天气预警:今天起 多地将有8-10级雷暴大风或冰雹
奇丑无比的洞洞鞋凭啥风靡全球?但是 绝对别穿它上扶梯-天天热消息
蔚来ES6上市当天 李想立下flag:10月份理想L7月销破2万辆_前沿热点
天天动态:弃“元”投“AI”,传百度副总裁马杰加入创新工场,成立AIGC公司
实时:gPTP时钟同步(时间同步服务器)助力智能驾驶应用
当前消息!直播源码技术实现游戏组队功能
【环球财经】惠誉评级把美国长期外币发行人违约评级展望列为“负面”
美媒:无人机袭击克宫或为乌特别部门策划-全球热讯
springboot~统一处理日期请求参数java.utils.Date和java.time.LocalDate_天天播报
【一步步开发AI运动小程序】七、进行运动计时、计数
36.8万起!蔚来全新ES6开卖:激光雷达、零百4.5秒 会成爆款吗
入门即高配!比亚迪宋Pro DM-i冠军版今日上市:纯电续航再提升
超110万辆特斯拉到底何时召回?时间点来了 强制单踏板再见
百公里油耗仅仅7.4升!依维柯聚星正式上市:13.68万元起
全新宝马5系发布:内饰、科技大升级 看眼后视镜就能自动变道
世界今亮点!在旧时光里注入新生机——湖南郴州“唤醒老屋”行动观察
全球快报:第六章.数据结构与算法基础(重点)
今日快讯:海康威视SDK - 门禁admin用户密码设置
当前速递!走进Linux世界,学习Linux系统的必备指南
最美不过二次元【AI】
黑人女玩家谈《Forspoken》差评如潮:种族主义者的偏见|世界观热点
结婚6年没孩子 查出丈夫非男性:医生科普是性反转综合征 网友刷新认知
焦点短讯!Windows 11打破隔阂 苹果安卓手机都能连 五大功能你用过没?
最高省1800元!iPhone 14 Pro系列京东618便宜了:抢券6499元起
当前关注:首款高通骁龙W5+智能手表!TicWatch Pro 5发布 续航45天
学系统集成项目管理工程师(中项)系列26_新兴信息技术-环球短讯
tn系统的三种适用范围_tn系统 天天新要闻
【环球时快讯】国际金融市场早知道:5月25日
四大证券报精华摘要:5月25日-环球今亮点
索尼宣布串流掌机
磁带存储不死!2022年逆市增长 2028年机械硬盘将消失?
天天微动态丨能像纸一样弯曲!我国成功研制出高柔韧性单晶硅太阳电池
世界微速讯:惠普新款暗影精灵9锐龙版上架:满血锐龙7+RTX 4060 首发6799元
今日dnf主线任务没了_dnf主线任务没了怎么办
做好持久战准备!小米自研芯片决心不动摇:盘点小米造芯之路
《刺客信条:幻景》10月12日发售:预售已开启_世界看热讯
世界焦点!小萝莉被杀真实案件 小萝莉被
快讯:将Android手机无线连接到Ubuntu实现唱跳Rap
gitlab ci 集成 eslint/prettier/tsc 做代码审查,并使用 eslint 输出作为显示代码质量 天天新视野
环球快播:人类暴露?外星文明快要联系地球了:美国算出时间
OPPO Pad 2新版开启预售:天玑9000加持 2599元|每日播报
焦点热议:国民神车MINI EV销量暴跌:五菱还有下一个爆款吗
最伟大Windows降临:操作系统彻底改变
iQOO Pad预售:最强天玑平板 2389元起
山东省高校毕业生就业信息网 山东省毕业生信息网
焦点观察:宝宝晚上睡觉不踏实总是翻来覆去_宝宝晚上睡觉不踏实翻来覆去怎么办
焦点日报:这些员工申报个税 可扣除6万元减除费用
天天速递!电子科大和四川美院第三届联合教学与创作成果展开幕式举行
神车卡罗拉迎来最新版,第五代丰田 THS 升级在哪?-今日播报
全球快播:英国通胀降至8.7%,但食品价格仍疯涨!鲍里斯又被告到警方,还是因为派对门…
湖南省湘电试研技术有限公司荣列先进制造业企业政策支持名单
Dubbo实践-全球热推荐
GPT-4通过了waitlist,私信爆了!
全球今日讯!10-阻塞赋值和非阻塞赋值
中国驻洛杉矶总领馆提醒中国公民防范电信诈骗
世界热推荐:小米机皇赢麻了!13 Ultra京东好评率超过99%
纯白千层镜!影驰RTX 4060 Ti 8GB星曜OC图赏
员工每天带薪上厕所3至6小时被解雇:法院判了 环球热闻
【天天快播报】618首销第一天Redmi霸占预售榜前三名 卢伟冰:孤独
精彩看点:Java设计模式-享元模式
这对中意“姐妹”世界遗产地 共话生态保护_世界微动态
多地加快推进基础设施工程建设
韩一季度总和生育率0.81 创历年同期最低
天天讯息:2149元太香了!AMD RX 7600正式发布:最高提速55%
硬刚RTX 4060!AMD RX 7600图赏|世界新视野
焦点热议:两对情侣因争位置在迪士尼起冲突:双方已调解
老外吐槽RTX 4060 Ti/RX 7600:2023年了 2000多元还是1080P游戏显卡
天天看热讯:白色机身玩趣十足!索泰RTX 4060 Ti X-GAMING显卡图赏
辽宁沈阳一老人乘坐地铁禁止周边人玩手机 称辐射会导致自己眼睛模糊
《闪电侠》电影曝光IMAX和杜比影院海报 继续由埃兹拉·米勒饰演
电影《速度与激情10》上映7天 总票房破6亿,
杨紫琼主演《西游ABC》现已正式播出 为迪士尼+原创奇幻动作喜剧
游客意外掉到野生大黄鱼 在阳光照耀下十分耀眼
徐克导演《射雕英雄传侠之大者》获得2023重点档期推荐影片 由肖战主演
为进一步激活汽车消费 宁波市实施社会车辆提前淘汰财政奖励补贴
杭州一宝妈因网红穿着产生不满 担心对孩子的心理产生不良影响
网易于多伦多和蒙特利尔成立新的游戏工作室 将开发首款开放世界游戏
马斯克称自己的时间管理安排非常困难 现已确定一位接班人
环球今热点:押上一切声誉!小米汽车2024年量产 雷军:今年一季度投入11亿
营收大跌45.9% 小鹏汽车1季度财报公布 CEO放豪言:G6将成爆款
出现重大风险至股价大幅下跌?科大讯飞:谣言 AI“搞的” 今日观点
支持录音实时转写!讯飞录音降噪会议耳机iFLYBUDS Nano+图赏
累计已发21版驱动!Intel:Arc显卡将持续针对DX9/11/12优化
上海沿浦最新公告:拟定增募资不超过3.9亿元-天天讯息
c#中用System.Diagnostics.Process.Start(Path.GetFullPath(“vlc.exe.lnk“), url);用vlc的
Java 创建/识别条形码
前沿资讯!3DS在线商店关闭后:任天堂新补丁堵死破解可能
甲醇汽车:想说爱你 却怕“中毒”!这四点无解