最新要闻
- 在街头弹钢琴的他,登上了音乐厅! 热头条
- 一口一个更好吃:德芙84g袋装小巧粒7.8元/袋大促(原价18元)
- 环球观焦点:跑步直追!比亚迪高阶智驾第三季度上车:名为DNP、汉将首搭
- 被指滥用应用市场主导地位:苹果再次遭遇反垄断调查 焦点速看
- 全球观点:华为WATCH 4星球系列上演宇宙级浪漫 健康领域华为或将迎来重大突破
- 天舟六号货运飞船与空间站组合体完成交会对接
- 世界头条:美联储高利率风险仍存在 黄金期货能否延续涨势
- 学生点外卖:因围墙太高 小哥摇树报送餐位置
- 每日快讯!来自“公路王者”的检验!蔚来ES6被两大货车夹击:框架完好人员安全
- 小米电视A55/A65竞技版开售:1799就能有4K/120Hz高刷大屏|天天通讯
- iQOO Neo8 Pro上架:首发天玑9200+ CPU性能比骁龙8 Gen2更猛 实时焦点
- 微型电动车战火再起!长安Lumin周年庆至高优惠1万硬刚五菱
- 环球热议:如何为漆面准备金属
- 天天快看:有文化的网名情侣(有文化的网名)
- 天天观焦点:重庆市高级人民法院依法公开宣判张波、叶诚尘故意杀人案
- 李想说出大实话:理想L8最大竞争对手其实是这台车
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
译:从分布式微服务到单体
(资料图片)
原文:https://www.primevideotech.com/video-streaming/scaling-up-the-prime-video-audio-video-monitoring-service-and-reducing-costs-by-90
从分布式微服务架构迁移到整体式应用程序有助于实现更高的规模、弹性并降低成本。
在Prime Video,我们为客户提供数千个直播流。为了确保客户无缝接收内容,Prime Video设置了一个工具来监控客户观看的每个流。该工具使我们能够自动识别感知质量问题(例如,块损坏或音频/视频同步问题)并触发修复过程。我们在Prime Video的视频质量分析(VQA)团队已经拥有了一个用于音频/视频质量检查的工具,但我们从未打算也没有设计过它大规模运行(我们的目标是监控数千个并发流并随着时间的推移而增加这个数字)。在将更多流载入服务时,我们注意到大规模运行基础结构非常昂贵。我们还注意到扩展瓶颈,使我们无法监控数千个流。因此,我们退后一步,重新审视了现有服务的体系结构,重点关注成本和扩展瓶颈。我们服务的初始版本由由 AWS Step Functions 编排的分布式组件组成。就成本而言,两个最昂贵的操作是业务流程工作流和数据在分布式组件之间传递的时间。为了解决这个问题,我们将所有组件移动到单个进程中,以将数据传输保留在进程内存中,这也简化了编排逻辑。由于我们将所有操作编译到单个进程中,因此我们可以依靠可扩展的 Amazon Elastic Compute Cloud (Amazon EC2) 和 Amazon Elastic Container Service (Amazon ECS) 实例进行部署。
分布式系统开销
我们的服务由三个主要部分组成。
- 媒体转换器将输入音频/视频流转换为发送到检测器的帧或解密的音频缓冲区。
- 缺陷检测器执行实时分析帧和音频缓冲区的算法,以查找缺陷(例如视频冻结、块损坏或音频/视频同步问题),并在发现缺陷时发送实时通知。有关此主题的更多信息,请参阅我们的 Prime Video 如何使用机器学习来确保视频质量一文。
- 第三个组件提供控制服务中流的业务流程。
我们将最初的解决方案设计为使用无服务器组件(例如 AWS Step Functions 或 AWS Lambda)的分布式系统,这是快速构建服务的不错选择。从理论上讲,这将允许我们独立扩展每个服务组件。但是,我们使用某些组件的方式导致我们在预期负载的 5% 左右达到了硬扩展限制。此外,所有构建块的总体成本都太高,无法大规模接受解决方案。下图显示了我们服务的无服务器体系结构。架构中的主要扩展瓶颈是使用 AWS Step Functions 实施的编排管理。我们的服务对流的每一秒执行了多次状态转换,因此我们很快就达到了帐户限制。除此之外,AWS Step Functions 还按状态转换向用户收费。我们发现的第二个成本问题是关于我们在不同组件之间传递视频帧(图像)的方式。为了减少计算成本高昂的视频转换作业,我们构建了一个微服务,将视频拆分为帧,并将图像临时上传到 Amazon Simple Storage Service (Amazon S3) 存储桶。然后,缺陷检测器(其中每个缺陷检测器也作为单独的微服务运行)下载图像并使用 AWS Lambda 同时处理它。但是,对 S3 存储桶的大量 Tier-1 调用成本很高。
从分布式微服务到单体应用程序
为了解决瓶颈问题,我们最初考虑单独修复问题,以降低成本并提高扩展能力。我们进行了试验并做出了一个大胆的决定:我们决定重新构建我们的基础设施。我们意识到分布式方法在我们的特定用例中并没有带来很多好处,因此我们将所有组件打包到一个流程中。这消除了对 S3 存储桶作为视频帧中间存储的需求,因为我们的数据传输现在发生在内存中。我们还实现了控制单个实例中的组件的编排。下图显示了迁移到整体架构后的系统体系结构。从概念上讲,高级体系结构保持不变。我们仍然拥有与初始设计(媒体转换、检测器或编排)完全相同的组件。这使我们能够重用大量代码并快速迁移到新架构。在初始设计中,我们可以水平扩展多个检测器,因为它们中的每一个都作为单独的微服务运行(因此添加新检测器需要创建一个新的微服务并将其插入业务流程)。然而,在我们的新方法中,探测器的数量只能垂直缩放,因为它们都在同一实例中运行。我们的团队会定期向服务中添加更多检测器,我们已经超出了单个实例的容量。为了克服这个问题,我们多次克隆服务,用不同的检测器子集对每个副本进行参数化。我们还实现了一个轻量级编排层来分发客户请求。下图显示了我们在超出单个实例容量时部署检测器的解决方案。
结果和要点
微服务和无服务器组件是可以大规模工作的工具,但是否在整体式架构上使用它们必须根据具体情况进行。将我们的服务迁移到整体式架构可将我们的基础架构成本降低 90% 以上。它还提高了我们的扩展能力。今天,我们能够处理数千个流,我们仍然有能力进一步扩展服务。将解决方案迁移到 Amazon EC2 和 Amazon ECS 还使我们能够使用 Amazon EC2 计算节省计划,这将有助于进一步降低成本。我们做出的一些决定并不明显,但它们带来了重大改进。例如,我们复制了一个计算成本高昂的媒体转换过程,并将其放置在更靠近检测器的位置。虽然运行一次媒体转换并缓存其结果可能被认为是更便宜的选择,但我们发现这不是一种经济高效的方法。我们所做的更改使Prime Video能够监控客户观看的所有流,而不仅仅是观看人数最多的流。这种方法可以带来更高的质量和更好的客户体验。
关键词:
-
译:从分布式微服务到单体
原文:https: www primevideotech com video-streaming scaling-up-the-prime-video-audio-video-monitori
来源: 译:从分布式微服务到单体
谷歌全线反击!PaLM 2部分性能已经超越GPT-4-全球今亮点
【财经分析】两只转债接连进入“下线倒计时” 市场如何接纳退市常态化? 要闻
在街头弹钢琴的他,登上了音乐厅! 热头条
一口一个更好吃:德芙84g袋装小巧粒7.8元/袋大促(原价18元)
环球观焦点:跑步直追!比亚迪高阶智驾第三季度上车:名为DNP、汉将首搭
被指滥用应用市场主导地位:苹果再次遭遇反垄断调查 焦点速看
全球观点:华为WATCH 4星球系列上演宇宙级浪漫 健康领域华为或将迎来重大突破
天舟六号货运飞船与空间站组合体完成交会对接
环球热头条丨用Python实现艺术绘画,人生苦短,代码赛高
【新华500】新华500指数(989001)11日收跌0.18%-世界微动态
世界头条:美联储高利率风险仍存在 黄金期货能否延续涨势
学生点外卖:因围墙太高 小哥摇树报送餐位置
每日快讯!来自“公路王者”的检验!蔚来ES6被两大货车夹击:框架完好人员安全
小米电视A55/A65竞技版开售:1799就能有4K/120Hz高刷大屏|天天通讯
iQOO Neo8 Pro上架:首发天玑9200+ CPU性能比骁龙8 Gen2更猛 实时焦点
微型电动车战火再起!长安Lumin周年庆至高优惠1万硬刚五菱
环球热议:如何为漆面准备金属
天天快看:有文化的网名情侣(有文化的网名)
Python工具箱系列(三十一)
天天视点!可变参数的格式化输出
利用kali破解WiFi密码_全球热消息
天天观焦点:重庆市高级人民法院依法公开宣判张波、叶诚尘故意杀人案
李想说出大实话:理想L8最大竞争对手其实是这台车
号称“不泄密” 微信键盘1.0.6发布:加入2项新功能
起售价或低于25万 凯迪拉克GT4实车曝光:家族最便宜SUV来了|世界今热点
长沙被占车位成为网红打卡地:有人两百公里外赶来直播 环球快看
省级校本教研基地工作总结(精选26篇)|世界观点
6000+字讲透ElasticSearch 索引设计
Linux系统上创建.NET6项目(通过命令行(CTL)方式)
15日起内地赴港澳签注办理更便捷 端午赴港澳机票较五一降三成|环球视点
索尼最强旗舰!Xperia 1 V发布:8999元起
4月SUV销量排名:比亚迪双星无敌!燃油车苦苦挣扎
当前视点!Linux重启Java的.sh脚本shell
stm32 boot0硬件接法导致的概率性启动失败问题总结和反思
k3s 证书过期修改
《种地吧》下期精彩:后陡门篮球赛主打团结 种地团直面成长阵痛-当前资讯
孟羽童视频回应离职格力:下一步将申请读研|环球观点
2999元!佳能发布掌上Vlog机PowerShot V10 比手机还小巧
焦点热讯:索尼放大招 Xperia 1 V用上双层晶体管传感器:画质媲美全画幅相机
天玑9200+正式发布!解决旗舰用户三大痛点 带来顶级游戏性能体验 世界新消息
黑寡妇毒杀亲夫
【天天热闻】手动挡正确停止和关闭发动机 以及关闭发动机钥匙的步骤
动力节点老杜B站Spring6学习笔记—Spring的入门程序
IOC类图
【独家】泰州姜堰:绿色能源清风吹拂一座城
环球新消息丨借鉴新加坡经验 深圳地铁拟推行早起上班优惠价:缓解早高峰拥挤
正式超越日本!一季度中国成全球第一大汽车出口国 天天速看料
三层防护 稳健医用外科口罩便宜了:3盒150只到手21.8元
全球快播:年内最大降幅?国内油价或即将大幅度下调 就在5月16日
微信开启“带货时代”:公众号今日起也能带货了
华硕笔记本A45v怎么清空所有数据?华硕笔记本a45v参数配置
电脑网页变成灰色是怎么回事?电脑网页变成灰色怎么解决?
国家移民管理局发布公告 5月15日起全面恢复口岸快捷通关|焦点消息
金立V183什么时候上市的?金立V183手机参数
宏基笔记本白屏是什么原因?宏基笔记本白屏怎么解决?
qq邮箱怎么点亮图标?qq邮箱格式怎么写?
周迅身高是多少?周迅个人资料简介
打电话不显示号码是怎么回事?打电话不显示号码怎么办?
盛夏晚晴天吻戏在哪几集?盛夏晚晴天电视剧结局是什么?
版权符号怎么打出来?版权符号html代码
吉林市为什么和省一个名字?吉林市旅游必去十大景点
世界快看:第二章、操作系统基本原理
世界最资讯丨蒙哥马利算法
每日观点:热烈欢迎成都市武侯区人社局领导莅临璞华考察参观
山西印发冬小麦后期田间管理意见
世界关注:荣盛发展年报遭问询,被追问营收大幅下滑、业绩大额亏损且亏损面进一步扩大原因及合理性
全球最大超算竞赛 现场DIY设计并攒机 北大学生拿下总冠军
美国4S店躺赢 巴菲特不爱车企爱经销商 天天速看
华为海外连开两场重磅发布会:发力全球市场势头不减! |每日视讯
太贵卖不动?NV又准备RTX 4070公版:4799元国内玩家抢吧 全球聚看点
人造肉更环保?新研究表明:对气候影响可能是普通牛肉25倍|看点
焦点快报!2023年上海市全民数字素养与技能提升月启动
Docker网络类型
Java之图片上传与删除功能的实现
用户分享 | Dockquery,一个国产数据库客户端的初体验
Django SQL注入漏洞分析(CVE-2022-28346) 全球报资讯
openAI发布v0.2.0了 全球快讯
环球热资讯!奥迪“全新”A6曝光!车尾神似5系,换保时捷引擎高级吗?
【全球新要闻】孟羽童曾称董明珠不可复制:没有人可以成为第二个董明珠
男子机场拍到李若彤被妻子怀疑出轨 李若彤发帖为其澄清 重点聚焦
2599元 尼康首款Z卡口电动变焦镜头来了:广角、特写都能拿捏
长沙一停车场要求按颜色停放 违停罚100元 律师:没法律效力
热点评!大手笔!丰田承认开发电动车失败 决定再砸500亿元
观天下!Haynes:有位湖人球员说 让勇士叽叽歪歪继续抱怨吧
深交所向*ST海投发出问询函|世界实时
环球新消息丨Android 14发布:首批适配机型公布
【环球热闻】谷歌首款平板Pixel Tablet发布:自研G2处理器、边框感人
环球观点:董明珠“接班人”孟羽童离职:曾称工作21个小时 工作强度太大
“蔚小理”变成“理哪零”造车新势力淘汰赛加速
今年来新增专项债已发行逾1.6万亿元
【财经分析】英国制造业增长乏力 与服务业分化明显
出行信息早知道!河北最新天气预报、限行提示、高速路况请查收→
全球简讯:MIUI 14开发者预览版上线:小米13、小米平板6等喜提安卓14
取代OLED!未来iPhone屏幕脱胎换骨:要用MicroLED屏-环球讯息
史上最坚固铰链!谷歌Pixel Fold折叠屏手机发布:处理器独一无二
谷歌Pixel 7a发布:3500元 不标配充电器
世界视讯!学系统集成项目管理工程师(中项)系列20_变更管理
bothhand ns0013lf_bothhand
世界看点:阿里云打5折降价 百度回应:这是感受到了竞争威胁