最新要闻
- 新动态:谷草转氨酶高是什么病症_谷草转氨酶高是什么病
- 深圳日报英文版官网(深圳日报)|速看
- 今年流行什么颜色口红 今年流行什么颜色
- 全球时讯:英镑对人民币汇率 不败传说怎么赚人民币
- 万励达(08482.HK)盈警:预计年度除税前亏损不超2700万港元|世界新动态
- 今日报丨潜山市黄铺中心小学开展“我们的节日,精神的家园”端午节主题活动
- 女生哭诉深夜被陌生男子猥亵,警方已受理_资讯推荐
- 汉兰达2.0t油耗(吉利星瑞2.0t油耗是多少?)_全球新视野
- 华凯易佰:公司与亚马逊的合作以FBA模式为主 全球观点
- 速看!31省已全部公布高考录取分数线(最全汇总)_速读
- 美锦能源:全资子公司贵州华宇与中冶焦耐签订《贵州美锦六枝煤焦氢综合利用示范项目二期焦化总承包工程总承包协议书》
- 2023浙江音乐高考一分一段表(含2021-2022年) 快消息
- 选校贴!英国设计管理专业硕士院校超全汇总_全球播报
- 焦点热讯:关于乌鸦的故事和传说,乌鸦为什么不被人们待见?
- 最高检发布惩治麻醉药品、精神药品失管涉毒犯罪典型案例
- 达利食品(03799)6月21日起短暂停牌 待刊发内幕消息
手机
最新:验证密保问题找回密码怎么办_验证密保问题找回密码
外媒:克宫发布视频,普京自“瓦格纳事件”结束以来首次发表公开讲话
- 最新:验证密保问题找回密码怎么办_验证密保问题找回密码
- 外媒:克宫发布视频,普京自“瓦格纳事件”结束以来首次发表公开讲话
- 海洋环境保护法修订草案二审:拟严格管控放射性废水排海 全球视讯
- 环球即时看!东莞虎门全面推行“河长制”,灰瑶涌“消黑”整治见成效
- 大湾区高质量发展动能澎湃 天天即时
- 全球微动态丨1.06亿人次,超2019年同期!端午出游很“热”
家电
逐浪AIGC丨大模型需要大算力,但光靠GPU也不行_环球微速讯
21世纪经济报道记者白杨 北京报道
随着AI大模型参数量从亿级飙升到万亿级,人们对于支撑大模型训练的超大规模算力也越发关注。而谈及算力,GPU自然是核心话题,但是,GPU也不是唯一。
(资料图片仅供参考)
因为大模型庞大的训练任务,需要由大量GPU服务器组成的算力集群来提供算力,而这些服务器之间要通过网络连接,进行海量数据交换。有数据显示,算力集群每次计算背后,服务器间的同步通信量会高达百GB。
所以单个GPU的性能再强,如果网络性能跟不上,那整个算力集群的计算能力也会大打折扣。因此,大集群不等于大算力,相反,GPU集群越大,产生的额外通信损耗越多。
据悉,千亿、万亿参数规模的大模型,训练过程中通信占比最大可达50%,传统低速网络的带宽远远无法支撑。同时,传统网络协议容易导致网络拥塞、高延时和丢包,而仅0.1%的网络丢包就可能导致50%的算力损失,最终造成算力资源的严重浪费。
这也进一步说明,大模型发展是典型的木桶效应,任何一块短板,都会影响整体的性能。而大带宽、高利用率、信息无损,则是AI大模型时代网络能力面临的核心挑战。
针对网络能力,6月26日,腾讯云首次对外完整披露了其自研的星脉高性能计算网络。据介绍,星脉网络具备3.2T通信带宽,能提升40%的GPU利用率,节省30%~60%的模型训练成本,为AI大模型带来10倍通信性能提升。基于腾讯云新一代算力集群HCC,可支持10万卡的超大计算规模。
腾讯云副总裁王亚晨表示,星脉网络在交换机、通信协议、通信库以及运营系统等方面,进行了软硬一体的升级和创新,是为大模型而生的网络架构。
其中在硬件方面,星脉网络基于腾讯的网络研发平台,采用全自研设备构建互联底座,可实现自动化部署和配置;在软件方面,腾讯云自研的TiTa网络协议,能够实时监测并调整网络拥塞,满足大量服务器节点之间的通信需求,使集群通信效率达90%以上。
此外,腾讯云还为星脉网络设计了高性能集合通信库TCCL,通过融入定制化解决方案,使系统实现了微秒级感知网络质量。结合动态调度机制合理分配通信通道,可以避免因网络问题导致的训练中断等问题,让通信时延降低40%。
王亚晨表示,网络的可用性,也决定了整个集群的计算稳定性。为确保星脉网络的高可用,腾讯云自研了端到端的全栈网络运营系统,通过端网立体化监控与智能定位系统,让整体故障的排查时间由天级降低至分钟级。同时,大模型训练系统的整体部署时间也从19天缩减至4.5天。
在AI大模型的推动下,网络技术正在加速演进。而腾讯云星脉网络背后,也是腾讯过去三代网络技术演进的成果。
在腾讯发展初期,数据中心网络流量主要由用户访问数据中心服务器的南北向流量构成,网络架构以接入、汇聚、出口为主。这一阶段主要使用了商用网络设备,搭建标准化数据中心网络,支撑QQ在线人数增长超过1亿,服务器规模增长超10万。
随着大数据和云计算的兴起,服务器之间的东西向流量逐渐增多,云租户对网络产生了虚拟化和隔离的要求。数据中心网络架构逐渐演变为同时承载南北向和东西向流量的云网络架构,腾讯云开始构建全自研网络设备与管理系统,打造超大规模数据中心网络,服务器规模近200万台。
而随着AI大模型的出现,腾讯云推出的星脉网络,采用了东西向、南北向流量的分离架构,并构建了独立的超大带宽、符合AI训练流量特征的网络架构,配合自研软硬件设施,实现整套系统的自主可控,也能满足超强算力对网络性能的新需求。
据悉,腾讯云此前发布的新一代HCC高性能计算集群,正是基于星脉网络打造,可以实现3.2T超高互联带宽,算力性能较前代提升了3倍。
关键词:
逐浪AIGC丨大模型需要大算力,但光靠GPU也不行_环球微速讯
世界热点评!中蒙最大陆路口岸出入境中欧班列今年突破1500列
最新:验证密保问题找回密码怎么办_验证密保问题找回密码
新动态:谷草转氨酶高是什么病症_谷草转氨酶高是什么病
濯足什么意思(濯怎么读) 快讯
环球时讯:福建水泥:公司产品主要在福建省内销售
深圳日报英文版官网(深圳日报)|速看
雷达不报警致撞上石墩 理想车主称“车辆存重大隐患”
宁夏启动“进口食品企业安全责任年”活动
中国禁毒主战场云南1至5月缴毒6.5吨_精彩看点
什么是函授大专证(什么是函授大专)
Microsoft Toolkit怎样激活Office 2013?Microsoft Toolkit激活Office 2013的方法
今年流行什么颜色口红 今年流行什么颜色
今日要闻!运机集团:公司自主研发、生产部分小型减速器,大部分系外购配套,包括圆锥圆柱齿轮减速器等
世界今头条!博山区白塔镇跑团服务解锁“自助办” 办事体验更便捷
胡锡进跑步进场投资股市,网友冷嘲热讽:穿着西装来,穿着裤衩走
全球时讯:英镑对人民币汇率 不败传说怎么赚人民币
全球今热点:人丝是什么_人丝是什么面料
全球速递!海南周刊 | 《时光简:二十四节气里的寻常生活》: 串联时光简里的奇妙支点
河北省举办渔业“安全生产月”集中宣传培训活动 世界速读
geforce 930MX相当于什么显卡_geforce 930mx
大湾区高质量发展动能澎湃
今热点:方形灯笼寓意_灯笼寓意
每日速讯:马克龙:如果中美不能达成一致,一些全球性问题就无法解决
外媒:克宫发布视频,普京自“瓦格纳事件”结束以来首次发表公开讲话
万励达(08482.HK)盈警:预计年度除税前亏损不超2700万港元|世界新动态
高质量发展调研行|科技“关键变量”撬动产业“最大增量”——三亚崖州湾科技城建设观察_环球快报
阿拉斯加雪橇犬品种起源, 阿拉斯加的前世今生 焦点快报
大逆转!佐藤瞳3:0领先被淘汰,4强对阵出炉,伊藤美诚迎战木原
今日报丨潜山市黄铺中心小学开展“我们的节日,精神的家园”端午节主题活动
女生哭诉深夜被陌生男子猥亵,警方已受理_资讯推荐
弘扬金融正能量 开远农信在行动|全球观察
马钢交材“新一代智能城际动车组”研发车辆用车轮通过客户首检|天天热文
汉兰达2.0t油耗(吉利星瑞2.0t油耗是多少?)_全球新视野
视点!做做网站18(做做)
最大深度约21.7米,国内最深湖底隧道于苏州通车
世界即时看!父母失信,孩子高考710分会被拒录?看看法官解答!
华凯易佰:公司与亚马逊的合作以FBA模式为主 全球观点
每日热议!超市分切水果引担忧:早晨切的西瓜,傍晚还新鲜吗?
全长2618米!武汉新城科学岛西路完工
一年出货100万台高算力设备,联想匈牙利工厂交亮眼成绩单|环球讯息
兴业银行潍坊分行开展“普及金融知识万里行”活动|天天热文
全球速递!永州中院公开宣判一起重大毒品犯罪案件:1人死刑,1人死缓,2人无期
格力空调常见故障解答(格力空调常见故障)
天天最资讯丨金刚喷剂多少钱一盒_金刚喷剂
痛心!眉山26岁失联女子遗体被打捞上岸 今日讯
工信部:1-5月软件业运行态势平稳向好 业务收入同比增长13.3% 焦点速看
高温来了!明后天湖南部分地区最高气温35℃以上_世界今日报
焦点报道:提升“互联网+政务服务”水平!宝山区行政执法公示平台正式面向公众开放
全力推进高质量发展!宝山区委财经工作委员会(扩大)会议召开 资讯
光迅科技(002281.SZ):公司1.6T产品已在OFC2023 DEMO_每日速看
一季度山西煤炭产量创单季度新高
中国科大发现最高超导转变温度的元素超导体_全球今头条
世界焦点!北京这3区冰雹黄色预警!注意防范!
今年全国快递业务量已达600亿件|世界速递
速看!31省已全部公布高考录取分数线(最全汇总)_速读
每日报道:新品发布 -- 移为通信推出新一代4G智能行车记录仪
海洋环境保护法修订草案二审:拟严格管控放射性废水排海 全球视讯
顿涅茨克亲俄武装指挥官:永远无法理解有人为挑战政府行为欢呼雀跃
刚刚,A股又上热搜!新能源赛道股午前爆发,热门板块延续大跌 天天播报
世界今头条!收深交所关注函后,城发环境终止收购北京新易100%股权
任子行子公司亚鸿世纪受邀2023年工业互联网大会主题演讲 环球百事通|今日最新
全球看热讯:大众称奥迪在中国缺乏竞争力 软件问题拖后腿
130款适配产品 龙芯3C5000处理器新增130款适配产品_世界观察
不到一天两纪录!《消失的她》票房破8亿
【建议收藏】重磅!2023年东莞市集成电路产业链全景图谱(附产业政策、产业链现状图谱、产业资源空间布局、产业链发展规划) 全球热点评
甩蛋歌_关于甩蛋歌介绍
埃隆·马斯克妹妹托斯卡:跟世界首富一个姓氏是福也是祸 当前独家
俄媒:针对瓦格纳创始人的刑事案件尚未结案 当前简讯
美锦能源:全资子公司贵州华宇与中冶焦耐签订《贵州美锦六枝煤焦氢综合利用示范项目二期焦化总承包工程总承包协议书》
环球即时看!东莞虎门全面推行“河长制”,灰瑶涌“消黑”整治见成效
2023浙江音乐高考一分一段表(含2021-2022年) 快消息
广西壮族自治区交通运输厅原党组成员、副厅长韦勇球接受审查调查 今日热闻
全球消息!毕业游开启, 暑期旅游市场显活力
马蜂窝端午大数据:避暑靡然成风,露营爱好者奔赴山水之间 全球速读
大湾区高质量发展动能澎湃 天天即时
息县参加第六届中国·河南招才引智创新发展大会启动会暨人才(项目)需求征集专项工作推进会召开-视讯
潮声丨提供就业、学费分期,“培训贷”是馅饼还是陷阱?|天天微速讯
6月26日山东地区沥青生产企业报价上调-今日聚焦
无需线下跑腿!海口龙华区实现占道挖掘全程网办
6月29日小i机器人将于6月29日发布大模型“小i-头条
选校贴!英国设计管理专业硕士院校超全汇总_全球播报
商务部美大司负责人就美方以涉芬太尼问题为由起诉中国企业答记者问 世界快看
美媒列出近10个赛季得分、篮板和助攻最多的球员,詹姆斯非数据迷 世界热文
大宗交易时机已至?浙商银行深圳买楼记
全球聚焦:倾听群众的声音,让复兴岛不再“买菜难”
亚钾国际与泰国KC集团签署钾肥市场供销战略协议 最资讯
央行降息“组合拳”释放多维度稳经济信号 世界资讯
兴宁市教育局投诉电话(兴宁市教育局)_今日最新
全国会计资格评价网报名系统登录入口
全球微动态丨1.06亿人次,超2019年同期!端午出游很“热”
此前宣布破产的加密货币交易平台FTX的新管理团队称,该公司已经恢复了70亿美元的流动性资产_今日热门
世界互联网大会数字文明尼山对话今日在山东曲阜召开|今日快讯
【世界播资讯】胡伟出任京东物流CEO 闫小兵重担重任组建创新零售部
热消息:月均增长达“百亿级” 六问快递业如何实现提质发展?
焦点热讯:关于乌鸦的故事和传说,乌鸦为什么不被人们待见?
xp系统支持多大内存|世界快资讯
环球资讯:卖教辅、当房东,一年营收1400亿元,新华书店活成“隐形大佬”
当前简讯:无障碍环境建设法草案明确无障碍环境建设应当与适老化改造相结合
曝光过亿!长江森林音乐节4万人现场,燃爆盛夏 世界新动态