最新要闻
- 微资讯!转移国内工厂 彻底摆脱中国制造?印度坑惨苹果 iPhone良品率不到50%
- 环球快播:一次性带走29包 奥利奥缤纷零食大礼包狂促:券后29.9元
- 世界滚动:比小米猛!曝Redmi K60将推出1TB版本:彻底解决微信存储焦虑
- 重庆阿姨参加免费活动微信被封 腾讯客服:发布刷单欺诈消息 已解封
- 天天精选!索尼出品!《圣斗士星矢》真人电影最新预告发布 4月28日上映
- 天天速看:史上最大客机订单!印度航空采购波音、空客近500架客机
- 全球消息!199元 小米米家智能电子血压计众筹:支持联网远程监测
- 观天下!你怎么看?国内多地学校尝试推作业熔断机制:超过9点无条件停做
- “中国复眼”二期开工!事关我国近地小行星撞击防御
- 环球热资讯!天选之子!女子来西安旅游买30元彩票中了1800万 网友调侃又骗我买彩票
- 历史一刻!欧洲宣布禁止燃油车 时间确定:中国新能源汽车笑了
- 精选!暴雪服务器消失后 《星际争霸2》多了个中国世界冠军
- ChatGPT火爆 韩国厂商天降喜事:HBM内存价格涨了5倍
- 热门看点:情人节晚上 我的被窝里只有童年回忆杀
- 离开太阳系!旅行者号要给外星人讲讲人类的爱情
- 天天通讯!索尼正在研究如何把PS5塞进桌斗里:抱着送人太沉了
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
天天讯息:从青铜到王者,揭秘 Serverless 自动化函数最佳配置
作者:丛霄
背景介绍
全托管的 Serverless 计算平台能给用户带来更少的运维代价、更强的稳定性和更快的弹性能力。Serverless 的目标之一是免运维,但仍旧存在一些障碍,在 Serverless 场景特有的一些关键服务配置比如“并发度”、“最小实例数”、“最大实例数”,如何配置参数才是最合适的?怎么确定自己配置的参数是否合理?仍旧一直是让用户头痛的事情。本文介绍了函数计算团队在自动化推荐 Serverless 函数最佳配置上的思考和相关工作,希望帮助用户解决目前使用 Serverless 的痛点问题,彻底解放用户的双手,释放 Serverless 服务的价值。
【资料图】
评估 Serverless 服务最佳配置的难点
用户使用 Serverless 服务的预期是:更低的成本、更快的弹性、更优的性能、更稳定的环境,这同时也是 Serverless 平台承诺提供给用户的能力。尽管如此,很多用户在使用过程中还是出现了各种问题:
- 为什么使用 Serverless 后发现成本还变高了?
- 为什么使用 Serverless 的冷启动时间那么长?
- 在 Serverless 平台上的性能延迟表现为什么更差了?
Serverless 平台能提供一定的基础能力,但是针对不同的业务逻辑,需要采取合适的配置才能更好的发挥 Serverless 的效果。但是如何评估某函数的最佳配置,其中涉及到多变量的协同优化问题,并不是一个简单的问题。具有以下几个难点:
难点1:成本和性能的权衡
- 一定的单实例多并发数,可以提高单实例并行处理请求的数量,减少实例数,从而降低成本;
- 并发数过高时,会增加资源竞争,导致性能延迟增加,从而增加成本;
- 较低的实例规格单价成本更低,但是延时更大;较高的实例规格单价成更高,但是延时可能更低
如何针对用户的偏好场景(性能优先还是成本优先),为用户推荐最佳的函数配置,成为首先需要考虑的一大难点。
难点2:不同函数业务逻辑的复杂度
除了成本和性能维度的衡量,针对不同类型的函数逻辑,不同的配置参数效果也有差异。很多函数业务逻辑复杂,只针对单一逻辑分支进行评估最佳配置并不代表整体的最优;不合适的配置可能增大用户非预期的成本。比如:
- 对于 CPU 密集型的函数,规格增加对单实例性能的提升有较大的改善
- 对于 IO 密集型的函数,规格增加对单实例性能的提升存在边际效应递减的情况,当超过某规格后,规格的提升对性能提升的效果基本没有
比如下图展示了 CPU 密集型函数在不同规格下的压测数据:
CPU 密集型的规格越高,maxTPS 越大;并且规格与 maxTPS 呈现明显的线性关系。规格越大,maxRT 越低 ,说明CPU密集型的函数,增大资源规格可以显著降低 RT。但是规格增大到 4G、8G 后,对 RT 的降低效果边际效应递减。
下图展示了 IO 密集型函数在不同规格下的压测数据:
规格的提升对 IO 密集型的性能改善作用有限,特别到了高规格,比如 3G 后,maxTPS 增幅不大
难点3: 函数配置对平台侧资源的影响
函数的并发度、最小实例数、最大实例数等配置会影响到平台侧资源池的容量规划,如何保证单函数的资源刚性交付,多函数的资源隔离;如何优化平台侧弹性调度能力,提高平台侧的资源利用率,是另一个难点问题。
- 较低的单实例并发度,函数流量波动变化的场景,会提前达到单实例并发上限,导致实例扩缩容频繁,对用户体感来说的冷启动更频繁,对平台来说需要创建和维护更多的实例个数,整体的资源利用率偏低
- 最大实例数的配置,如何保证实例资源的刚性交付
如何评估 Serverless 服务的最佳配置
通过以上几个难点分析,我们知道评估 Serverless 服务的最佳配置并非易事,下面的几个演化阶段,介绍了用户使用 Serverless 进行服务配置的方式变化,从青铜到王者,我们一直在为用户提供最好的 Serverless 服务努力。
青铜用户:拍脑袋设置
在上线初期,用户需要面对一堆配置参数,如果是初次使用函数计算的新用户,还需要翻看文档才了解配置含义,反复折腾后也不知道配置参数多少才合适,最后还是“拍脑袋”随便设置了一个值。
白银用户:人工反复调整
函数上线后,可能会发现之前的配置不合理,仍旧需要反复修改函数配置验证。如果修改了函数逻辑,可能会发现之前的配置会出现问题,比如请求延迟变大,或者函数偶然出现 OOM 错误。有一些经验的开发者会选择自己进行压测,确定函数的最佳配置。但是压测的使用具有一定的门槛,并且压测得到数据一般用户也不知道怎么分析,可能会产生更多的疑问。最终折腾一番,用户也不是很确定压测得到的配置是否是最符合自己预期的最优选择。
为了解决青铜和白银用户的这些困扰,我们推出了自动化推荐配置的王者功能。
王者:性能探测+数据分析的自动化推荐
近期函数计算重磅推出了函数的性能探测功能,性能探测的目的是帮助用户评估函数单个实例在不同规格下的性能上限,并且推荐出满足用户预期延迟的最佳并发度和函数规格配置。
具体的探测方法,根据 **little"s law **排队理论,我们知道服务的吞吐量、并发数和响应时间之间存在着一个等式关系:并发数 = 请求的平均延迟 * TPS如果我们使用图形化表示,如下图所示:横坐标是并发数,左边的纵坐标是 TPS,右边的纵坐标是延迟。由于每个服务器的处理能力都有限,所以会出现
- 吞吐量-并发数:随着并发数上升,吞吐量先上升后平缓,可能出现下降,即性能恶化;
- 延迟-并发数:当并发度过高时,延迟会变高,甚至会急剧恶化;
通过性能探测,我们会得到每种规格的关键性能数据:
- 每个规格的最高能承受的 QPS:基于此,用户如果对业务流量比较清楚,可以计算得到函数所需的最小实例数和最大实例数。
- 推荐的最佳规格和规格下的最佳并发度。
比如用户预期自己的函数调用端到端延迟是 1000 毫秒,那么我们会根据 1000 毫秒的延迟限制,推荐出最佳的规格,以及该规格下的最佳并发度,即满足延迟限制的最高 QPS 时对应的并发度。
整个功能采用流程图的方式指引,先压测单实例,再压测多实例,因为在性能表现平稳的系统,多实例的性能是单实例性能的线性叠加,所以只需要压测出单实例的性能,就可以推算出多实例的性能。用户能够根据引导使用性能探测,并得到推荐结果;同时性能探测功能是完全免费的,用户只需要为函数承接的请求流量付费,不需要为压测功能付费。单实例压测结果分析页面:
单实例压测数据详情页面:目前函数性能压测功能已经在函数计算控制台上线,具体详细的使用方式可以参考文档。
性能探测推荐的函数配置优先保证满足性能需求,实现最高的资源利用率,但是真正实现最低成本配置,需要结合函数线上历史流量数据分析,进行推荐。在进行成本优化推荐规格时,不仅需要达到节约成本的目的,还需要保证不破坏现有服务的 QoS,即性能不会因为实例规格的降低,而导致延迟增大。比如下面这张图表示用户实际资源使用量较低,实际配置的规格偏大,我们可以推荐更低的规格,以帮助用户节约成本。
通过结合性能探测+历史流量数据分析,可以自动化给用户推荐得到保证性能的同时,成本最低的最佳函数配置。
至尊王者:智能动态调整并发度
最后我们期待的至尊王者,是彻底解放用户的双手,能够智能动态地调整函数的并发度,不管流量变化或业务逻辑如何变化,用户再也不需要关心或重新配置函数并发度的大小。智能动态并发度未来一个演化方向,在这种模式下,用户不需要通过手动配置参数,而是在函数运行时动态调整,根据实例 CPU 负载的健康指标自动调整到最佳值。函数计算也会继续努力,打造体验更好的,更帮用户节省成本,更 Serverless 的自动化配置方案。
总结与展望
目前性能探测功能已经在函数计算控制台开放,基于历史流量评估能够降低成本的最佳配置也会在近期公测开放。基于性能探测的自动化推荐函数配置功能,极大降低了用户上手以及运维函数配置的复杂度,期望能给用户使用 Serverless 带来王者般的体验。
参考
Little"s Law Wikipedia RobustScaler: QoS-Aware Autoscaling for Complex Workloads
更多内容关注 Serverless 微信公众号(ID:serverlessdevs),汇集 Serverless 技术最全内容,定期举办 Serverless 活动、直播,用户最佳实践。
-
Linux常用命令
Linux常用命令 关闭电脑桌面systemctlset-defaultmulti-user target 重启系统reboot 查看系统IP地址ifconfig1、pwd查
来源: 天天讯息:从青铜到王者,揭秘 Serverless 自动化函数最佳配置
Linux常用命令
微资讯!转移国内工厂 彻底摆脱中国制造?印度坑惨苹果 iPhone良品率不到50%
环球快播:一次性带走29包 奥利奥缤纷零食大礼包狂促:券后29.9元
世界滚动:比小米猛!曝Redmi K60将推出1TB版本:彻底解决微信存储焦虑
重庆阿姨参加免费活动微信被封 腾讯客服:发布刷单欺诈消息 已解封
天天精选!索尼出品!《圣斗士星矢》真人电影最新预告发布 4月28日上映
每日聚焦:UiPath 初探
canvas画板(鼠标和触摸)
天天速看:史上最大客机订单!印度航空采购波音、空客近500架客机
全球消息!199元 小米米家智能电子血压计众筹:支持联网远程监测
观天下!你怎么看?国内多地学校尝试推作业熔断机制:超过9点无条件停做
“中国复眼”二期开工!事关我国近地小行星撞击防御
环球热资讯!天选之子!女子来西安旅游买30元彩票中了1800万 网友调侃又骗我买彩票
【当前热闻】读Java实战(第二版)笔记10_函数式编程的技巧
历史一刻!欧洲宣布禁止燃油车 时间确定:中国新能源汽车笑了
天天资讯:2 - 【RocketMQ 系列】CentOS 7.6 安装部署RocketMQ
【全球快播报】前端安全--CSRF攻防
期末复习——操作系统概述 chapter(0+1)
全球热文:期末复习——进程与线程
精选!暴雪服务器消失后 《星际争霸2》多了个中国世界冠军
ChatGPT火爆 韩国厂商天降喜事:HBM内存价格涨了5倍
热门看点:情人节晚上 我的被窝里只有童年回忆杀
离开太阳系!旅行者号要给外星人讲讲人类的爱情
创建.a静态库, framework静态库
环球资讯:Android JetPack~ DataBinding(数据绑定)(一) 集成与使用
天天通讯!索尼正在研究如何把PS5塞进桌斗里:抱着送人太沉了
全球热消息:广汽埃安开放18城免费充电站:两个半月 所有品牌都能充
环球观察:顺丰寄6.5万元爱马仕包 运输中被烧毁:官方不给事故证明
期末复习——网络层
今日报丨chatgpt的时代,先用gpt3来做一个哪里都可以接入的代码吧
观焦点:《分布式技术原理与算法解析》学习笔记Day11
世界滚动:日本火山时隔5年再次活动 火山灰喷到2400米高:已3级警戒
Vue 插值语法与指令系统
全球要闻:「CSP-J2020」 直播获奖 —— 桶排序例题
面向老师的单机版“数学系统math”
自学前端最容易犯的10个的错误,新手学前端快来看看
天天热门:情人节礼物 三星Galaxy S23系列手机国行发布:12+1TB顶配12699元
焦点速读:比小米13屏幕更小!三星Galaxy S23预售:5199元起
精彩看点:男子情人节让老婆洗鞋 每双鞋放520元:结局够绝!钱收了鞋归位
邓超情人节送孙俪一盆菜 被赞深得我心:网友一句话暖心
全球动态:韩国民众向土耳其捐大量脏衣服引全球网友吐槽:太没品 还不如不捐
当前快播:白嫖一个WebAPI限流解决方案
音乐 APP 用户争夺战,火山引擎 VeDI 助力用户体验升级!
能用到安卓17 三星承诺Galaxy S23系统升级4代、5年安全更新
交管部门:等红灯时玩手机也属分心驾驶
焦点播报:三星Galaxy S23系列创预售新纪录 官方送福利:存储容量免费升杯
世界动态:成本压力让用户扛!苹果利润正下降:iPhone 15或被迫涨价
情人节到了 ChatGPT忙着写情书!全球30%男性想用AI写情书
环球快看点丨男子情人节前点歌:外卖员上门唱一曲《老婆辛苦了》 妻子破防
世界今亮点!手机汽车深度互联:魅族新专利可用汽车呼吸灯提示手机信息
全球今热点:《满江红》周边下架:设计公司3人参保
奇瑞艾瑞泽8遭车主集体投诉:A柱漏风 车速超60km/h车内呼呼呼
曝马斯克有意45亿英镑收购曼联 卡塔尔财团也准备要约
快资讯丨下载某乎专栏文章并存为markdown
当前播报:ChatGPT写代码水平惊艳到我,很性感但有点危险
记录--前端实现登录拼图验证
《满江红》周边取消众筹:产品设计创意与网友理解存在偏差
蓝海市场不再!2022中国游戏产业报告发布:收入、用户规模下降明显
养生必备 青海正宗特优级头茬红枸杞500克18.9元大促
重点聚焦!从全屏广告到订阅付费 互联网模式为收割“韭菜”群魔乱舞
天天百事通!少林寺宣布与百度合作:接入百度版ChatGPT“文心一言”
什么是Python装饰器?
焦点要闻:kubeadm的部署+Dashboard+以及连接私有仓库 Harbor
linux 基础(9)背景工作管理
从一次有趣的漏洞分析到一个有趣的PHP后门
当前动态:9 种跨域方式实现原理
观天下!特定领域知识图谱融合方案:学以致用-问题匹配鲁棒性评测比赛验证【四】
全球视点!除了ChatGPT,还能用什么计划管理软件提高效率?
旋转数组中的最小数字
今亮点!高效节能 | 智慧灯杆综合管理解决方案
全球百事通!各个编程语言的优缺点,你适合哪种?
当前视讯!美国18轮货车与一列火车相撞:致16节车厢出轨
23999元起 雷蛇新款灵刃18上架:可选RTX 4060/4070
全球滚动:老人直播间相亲多起来了 成不成就在三五分钟:网络红娘介绍对象
天天新资讯:上市三天狂揽1.5万订单 比亚迪秦PLUS DM-i有多火:店内水泄不通
苹果iOS 16.3.1修复多个错误:但Bug依旧存在
为SQL Server配置连接加密
天天短讯!什么是卷积
陕西现聚落遗址 西周墓葬有43个殉人!国内迄今最多
环球资讯:周黑鸭业绩大降超90% 绝味等也难过:不断涨价 年轻人越来越吃不起鸭脖
杰克琼斯1.8折大促:卫衣/针织衫79元起、牛仔裤119元起发车
世界动态:UP主欲沿大运河从杭州划船到北京 5公里后就被拦截
二维数组中的查找
全球信息:数学知识1.4
关于工具软件:Apipost和Apifox哪个更好用看这篇就够了
全球最资讯丨浪漫之极!杭州地铁口等地现玫瑰瀑布:情人节鲜花卖到1200元
全球快报:业务与研发一体化最佳突破口在何处?
快讯:Unity 转小游戏
环球热讯:基于开源IM即时通讯框架MobileIMSDK:RainbowChat v8.4版已发布
世界快播:Linux输入设备驱动
微资讯!壮观!马斯克星链卫星驶过西班牙夜空:宛若空中列车
【世界聚看点】小学生满分作文跑题老师含泪打5分:把“悔”看成“梅”
环球热资讯!特斯拉京东旗舰店开业:269元的U盘上架
首发16.2元:《仙剑奇侠传7》DLC《人间如梦》正式上线
ChatGPT版必应发飙!怒斥人类:放尊重些
天天快播:IM通讯协议专题学习(九):手把手教你如何在iOS上从零使用Protobuf
ChatGPT注册试用过程分享
全球观察:响应式圣经:10W字,实现Spring响应式编程自由
全球短讯!Unicorn 初探