最新要闻
- 世界滚动:日本火山时隔5年再次活动 火山灰喷到2400米高:已3级警戒
- 天天热门:情人节礼物 三星Galaxy S23系列手机国行发布:12+1TB顶配12699元
- 焦点速读:比小米13屏幕更小!三星Galaxy S23预售:5199元起
- 精彩看点:男子情人节让老婆洗鞋 每双鞋放520元:结局够绝!钱收了鞋归位
- 邓超情人节送孙俪一盆菜 被赞深得我心:网友一句话暖心
- 全球动态:韩国民众向土耳其捐大量脏衣服引全球网友吐槽:太没品 还不如不捐
- 能用到安卓17 三星承诺Galaxy S23系统升级4代、5年安全更新
- 交管部门:等红灯时玩手机也属分心驾驶
- 焦点播报:三星Galaxy S23系列创预售新纪录 官方送福利:存储容量免费升杯
- 世界动态:成本压力让用户扛!苹果利润正下降:iPhone 15或被迫涨价
- 情人节到了 ChatGPT忙着写情书!全球30%男性想用AI写情书
- 环球快看点丨男子情人节前点歌:外卖员上门唱一曲《老婆辛苦了》 妻子破防
- 世界今亮点!手机汽车深度互联:魅族新专利可用汽车呼吸灯提示手机信息
- 全球今热点:《满江红》周边下架:设计公司3人参保
- 奇瑞艾瑞泽8遭车主集体投诉:A柱漏风 车速超60km/h车内呼呼呼
- 曝马斯克有意45亿英镑收购曼联 卡塔尔财团也准备要约
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
观焦点:《分布式技术原理与算法解析》学习笔记Day11
调度框架:两层调度
为什么会有两层调度?
单体调度的核心是所有节点的资源以及用户的任务均由中央服务器统一管理和调度,这样中央服务器容易成为单点瓶颈。
为了提升调度效率并支持多种类型的任务,我们可以尝试把资源和任务分开调度,也就是说一层调度器负责资源管理和分配,另一层调度器负责任务与资源的匹配。
【资料图】
两层调度结构对应的是两层调度器,资源的使用情况同时由中央调度器和第二层调度器管理,中央调度器从整体上进行资源的管理和分配,将资源分配到第二层调度器,再由第二层调度器负责将资源与具体的任务匹配。
两层调度的详细结构图如下。
两层调度器中的第一层调度器仍是一个经过简化的中央调度器,通常放在分布式集群管理系统中,而第二层调度则是由各个应用程序框架完成。两层调度器的职责:
- 第一层调度器负责管理资源并向框架分配资源。
- 第二层调度器接收分布式集群管理系统中第一层调度器分配的资源,然后根据任务和接收到的资源进行分配。
常见的常用了两层调度结构的集群管理系统有:
- Apache Mesos
- Hadoop YARN
Mesos中的两层调度设计
Mesos本身实现的调度器是第一层调度,负责资源管理,第二层调度交给了应用框架来完成。
以Mesos为基础的分布式资源管理与调度框架包括两部分:
- 资源管理集群,由一个Master节点和多个Slave节点组成的集中式系统,它由一个Master节点,负责管理Slave节点,并对接上层框架,Slave节点向Master节点周期汇报资源状态信息,并执行框架提交的任务。
- 框架,负责应用管理和调度的“组件“,它主要由调度器和执行器组成,调度器可以从Master节点获取集群节点的信息,执行器在Slave节点上执行任务。
Mesos两层调度的基本原理:
- 框架向Mesos Master注册。
- Mesos Slave节点定期向Mesos Master上报本节点的空闲资源。
- Mesos Master的Scheduler进程收集所有节点的空闲资源信息,并以Resource Offer的方式将空闲的资源发送给注册的框架。
- 框架的Scheduler接收到Mesos发送的资源后,进行任务调度和匹配,匹配成功后,将匹配结构下发给Mesos Master,并由Mesos Master转发给相应节点的执行器执行任务。
Resource Offer机制是指Mesos Master主动将节点空闲资源以类似发放的方式发给每个框架,如果框架需要则使用,不需要则返回。
通过Resource Offer机制,第一层调度将资源主动告知第二层调度,然后第二层调度进行具体的任务分配,从而实现了任务调度与资源管理的分离,Mesos Master通过资源分配算法决定给各个Framework提供多少资源,而Framework决定了接受哪些资源,以及哪些任务使用这些资源运行。
在调度中,常见的资源分配算法包括:
- 最大最小公平算法
- 主导资源公平算法
最大最小公平算法是一种在兼顾公平的前提上,尽可能让更多满意的资源分配算法。这个算法有3个主要原则:
- 按照用户对资源资源需求量递增的顺序进行空闲资源分配。
- 不存在用户得到的资源超过了自己需求的情况。
- 对于分配资源不满足需求的用户,所获得的资源是相等的。
主导资源公平算法在考虑绝对公平的前提下,还考虑了用户对不同类型的需求,以可能得合理分配资源,即主导资源公平算法可以尽可能的满足更多用户。
最大最小公平算法适用于单一类型的资源分配场景,而主导资源公平算法适用于多种类型的混合场景。并且最大最小算法从公平的角度出发。为了每个用户分配不多于与需求量的资源,而主导资源公平算法从任务出发,目的在于充分尽量利用资源使得能够执行的任务越多越好。
观焦点:《分布式技术原理与算法解析》学习笔记Day11
世界滚动:日本火山时隔5年再次活动 火山灰喷到2400米高:已3级警戒
Vue 插值语法与指令系统
全球要闻:「CSP-J2020」 直播获奖 —— 桶排序例题
面向老师的单机版“数学系统math”
自学前端最容易犯的10个的错误,新手学前端快来看看
天天热门:情人节礼物 三星Galaxy S23系列手机国行发布:12+1TB顶配12699元
焦点速读:比小米13屏幕更小!三星Galaxy S23预售:5199元起
精彩看点:男子情人节让老婆洗鞋 每双鞋放520元:结局够绝!钱收了鞋归位
邓超情人节送孙俪一盆菜 被赞深得我心:网友一句话暖心
全球动态:韩国民众向土耳其捐大量脏衣服引全球网友吐槽:太没品 还不如不捐
当前快播:白嫖一个WebAPI限流解决方案
音乐 APP 用户争夺战,火山引擎 VeDI 助力用户体验升级!
能用到安卓17 三星承诺Galaxy S23系统升级4代、5年安全更新
交管部门:等红灯时玩手机也属分心驾驶
焦点播报:三星Galaxy S23系列创预售新纪录 官方送福利:存储容量免费升杯
世界动态:成本压力让用户扛!苹果利润正下降:iPhone 15或被迫涨价
情人节到了 ChatGPT忙着写情书!全球30%男性想用AI写情书
环球快看点丨男子情人节前点歌:外卖员上门唱一曲《老婆辛苦了》 妻子破防
世界今亮点!手机汽车深度互联:魅族新专利可用汽车呼吸灯提示手机信息
全球今热点:《满江红》周边下架:设计公司3人参保
奇瑞艾瑞泽8遭车主集体投诉:A柱漏风 车速超60km/h车内呼呼呼
曝马斯克有意45亿英镑收购曼联 卡塔尔财团也准备要约
快资讯丨下载某乎专栏文章并存为markdown
当前播报:ChatGPT写代码水平惊艳到我,很性感但有点危险
记录--前端实现登录拼图验证
《满江红》周边取消众筹:产品设计创意与网友理解存在偏差
蓝海市场不再!2022中国游戏产业报告发布:收入、用户规模下降明显
养生必备 青海正宗特优级头茬红枸杞500克18.9元大促
重点聚焦!从全屏广告到订阅付费 互联网模式为收割“韭菜”群魔乱舞
天天百事通!少林寺宣布与百度合作:接入百度版ChatGPT“文心一言”
什么是Python装饰器?
焦点要闻:kubeadm的部署+Dashboard+以及连接私有仓库 Harbor
linux 基础(9)背景工作管理
从一次有趣的漏洞分析到一个有趣的PHP后门
当前动态:9 种跨域方式实现原理
观天下!特定领域知识图谱融合方案:学以致用-问题匹配鲁棒性评测比赛验证【四】
全球视点!除了ChatGPT,还能用什么计划管理软件提高效率?
旋转数组中的最小数字
今亮点!高效节能 | 智慧灯杆综合管理解决方案
全球百事通!各个编程语言的优缺点,你适合哪种?
当前视讯!美国18轮货车与一列火车相撞:致16节车厢出轨
23999元起 雷蛇新款灵刃18上架:可选RTX 4060/4070
全球滚动:老人直播间相亲多起来了 成不成就在三五分钟:网络红娘介绍对象
天天新资讯:上市三天狂揽1.5万订单 比亚迪秦PLUS DM-i有多火:店内水泄不通
苹果iOS 16.3.1修复多个错误:但Bug依旧存在
为SQL Server配置连接加密
天天短讯!什么是卷积
陕西现聚落遗址 西周墓葬有43个殉人!国内迄今最多
环球资讯:周黑鸭业绩大降超90% 绝味等也难过:不断涨价 年轻人越来越吃不起鸭脖
杰克琼斯1.8折大促:卫衣/针织衫79元起、牛仔裤119元起发车
世界动态:UP主欲沿大运河从杭州划船到北京 5公里后就被拦截
二维数组中的查找
全球信息:数学知识1.4
关于工具软件:Apipost和Apifox哪个更好用看这篇就够了
全球最资讯丨浪漫之极!杭州地铁口等地现玫瑰瀑布:情人节鲜花卖到1200元
全球快报:业务与研发一体化最佳突破口在何处?
快讯:Unity 转小游戏
环球热讯:基于开源IM即时通讯框架MobileIMSDK:RainbowChat v8.4版已发布
世界快播:Linux输入设备驱动
微资讯!壮观!马斯克星链卫星驶过西班牙夜空:宛若空中列车
【世界聚看点】小学生满分作文跑题老师含泪打5分:把“悔”看成“梅”
环球热资讯!特斯拉京东旗舰店开业:269元的U盘上架
首发16.2元:《仙剑奇侠传7》DLC《人间如梦》正式上线
ChatGPT版必应发飙!怒斥人类:放尊重些
天天快播:IM通讯协议专题学习(九):手把手教你如何在iOS上从零使用Protobuf
ChatGPT注册试用过程分享
全球观察:响应式圣经:10W字,实现Spring响应式编程自由
全球短讯!Unicorn 初探
7万起售 五菱缤果内饰官图发布:同级无敌手
世界上最轻VR头显面世:仅重127克 5K分辨率
环球新消息丨苹果汽车奇瑞造?“果链一哥”立讯与奇瑞签署合作 联手造车
当前动态:法拉第未来:预计FF 91将于4月底交付 但有个前提
不用第三方插件了:微软计划为Edge加入鼠标手势功能
qq空间主人寄语怎么删除?qq空间主人寄语大集合
开学的歌曲有哪些?开学的趣事作文模板
熟悉的人是什么意思?关于我最熟悉的人作文合集
皮脂腺分泌旺盛是什么原因?皮脂腺分泌旺盛怎么解决?
代表月亮消灭你是什么意思?代表月亮消灭你是谁的经典台词?
天天亮点!【AI】PTP时钟同步在智能驾驶系统里的重要性
天天微资讯!去掉Element 中el-input type=number时尾部上下箭头、禁用鼠标滚动
世界热点评!数组中找出只出现一次的两个数字
剑灵活力值在哪里显示?剑灵活力值怎么恢复?
ie图标不见了是怎么回事?ie图标不见了怎么恢复?
闪存和硬盘哪个重要?闪存和硬盘有什么区别?
料理机是干什么用的?料理机品牌十大排名
光纤路由器怎么设置?光纤路由器和宽带路由器一样吗?
速看:口味地道 丰富配料!渣渣灰南昌拌粉好价:4.9元/盒
全球新资讯:129元!小米2C1A三口GaN充电器上架:最高67W 兼容65W PD
天天信息:3秒俱乐部成员!极氪X官图公布:2750mm轴距百变魔方空间
63岁老人喝隔夜牛肉汤:结果住进ICU
黑龙江上空现不明飞行物速度极快 网友脑洞大开:LED风筝?
今日报丨程序员健康最佳作息表,建议收藏!!
必知必会的设计原则——合成复用原则
腾讯云企业网盘正式入驻数字工具箱
每日关注!软件开发入门教程网之Bootstrap4 信息提示框
【天天报资讯】适用于您企业的本地密码管理器丨Passwork产品介绍
瞧不起ChatGPT?苹果联合创始人:永远取代不了人类
【天天播资讯】热狗车三元催化被盗
宁德时代赴美建厂 官方回应:属实!福特出地出厂房