最新要闻
- 广汽集团曾庆洪:汽车产业告别高增长黄金时代,淘汰赛加速进行 全球视讯
- 大爷将2台电动车焊一起自制代步车:觉得代步车太贵
- 小金毛冲进考场被无情请出 网友:忘带双证了?
- 突发!中国电信大面积崩溃:手机没信号、电话空号
- 显卡带来巨额利润 英伟达股价还能再涨30% 五大看涨理由…… 播资讯
- 今日精选:看似灯泡其实是个智能家居摄像机!萤石C8b 4G版图赏
- 天天微头条丨头部 UP 主入局,B 站带货时代来了?
- 中意悦享安康重疾险怎么样?保什么? 每日热讯
- 弥勒岩在福清什么地方_弥勒岩
- 商家被大学生“占便宜”到崩溃引热议 7天无理由退货该取消吗?勿以恶小而为之|每日焦点
- 浙大创造出新物质:兼具硬度和弹性 真五边形战士
- 佛山一考生第一天走错考场:第二天赶不上公交 两次获救助 环球百事通
- 高考生出考场接受采访 同学跑来喊话:加强李信 环球热文
- MediaTek天玑开发者中心官网上线 天玑生态圈加速引领移动应用体验进化 世界报道
- 每日看点!notify party和consignee(外贸单据中CONSIGNEE和NOTIFY PARTY有什么区别)
- 海口一老人街边突然摔倒,两小伙上前将人扶起 焦点速看
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
全球视点!MegEngine 动态执行引擎-Imperative Runtime 概述
当我们谈论 MegEngine 时,我们在谈论什么
众所周知,开源深度学习框架旷视天元(MegEngine)是旷视自主研发的国产工业级深度学习框架,是旷视新一代 AI 生产力平台 Brain++ 的最核心组件,在2020年3月正式向全球开发者开源。MegEngine 凭借其训练推理一体、超低硬件门槛和全平台高效推理 3 大核心优势,帮助企业与开发者大幅节省产品从实验室原型到工业部署的流程,真正实现小时级的转化能力。
MegEngine
自上向下包含三个层次:Imperative
、MegBrain
和MegDNN
。它们的角色定位分别是:
(资料图)
Imperative
:MegEngine
为动态训练设计的一套新接口,负责处理动态图运行时(Imperative Runtime
)。MegBrain
:负责处理静态图运行时(Graph Runtime
)。MegDNN
:MegEngine
的底层计算引擎。
下面再从下到上介绍一下这三个模块在MegEngine
中的作用。
MegEngine 的底层计算引擎 —— MegDNN
MegDNN
在MegEngine
中扮演的角色是底层计算引擎。MegDNN
是一个跨平台的底层算子库,训练和推理过程中的所有计算操作最终都需要落到一个MegDNN
的算子上进行,一个MegDNN
算子可能会根据场景(如张量尺寸等)有一个或多个不同的实现(也叫kernel
)。
作为一个跨平台的计算库,MegDNN
为我们提供丰富的与Tensor
相关的计算原语,比如Convolution
、Pooling
、MatrixMul
、Transpose
等。目前MegDNN
支持的平台有:x86
、arm
、CUDA
、RoCM
、OpenCL
、Hexagon
等。
感兴趣的同学可以在这里看到MegDNN
在各个平台下的kernel
具体实现。
静态图运行时管家 —— MegBrain
为了确保训练推理一致性,Imperative
中复用了MegBrain
的计算代码,因此我们需要了解MegBrain
做了什么。
MegBrain
负责处理静态图的运行时,主要提供C++
的训练和推理接口。
从下面的MegEngine
整体架构图可以看出,Imperative
通过Tensor Interpreter
(张量解释器)复用了许多MegBrain
的代码。比如shape
推导、计算、求导、Trace
等。
在MegBrain
中,一个Computing Graph
由SymbolVar
以及许多op
(算子,operator
)组成。SymbolVar
是在MegBrain
层面Tensor
的表示,可以理解为传递给op
进行计算的数据。作个类比,op
是类似加减乘除这样的计算操作(在深度学习中常用的有convolution
、pooling
等),SymbolVar
就是我们用来进行加减乘除的“数”(在深度学习中就是Tensor
)。
MegEngine 动态图接口——Imperative 登场
因为MegEngine
是动静合一的深度学习框架,MegBrain
解决了静态图的训练和推理问题,还需要有一个“组件”负责处理动态图的训练和推理、以及Python
侧的训练接口,于是便有了Imperative
,也就是说,Imperative Runtime
是为了动态训练而单独设计的一套新接口。
实际上,在MegBrain
的Computing Graph
中已经有了非常多的算子实现,因此MegEngine
的Imperative
借助张量解释器Tensor Interpreter
较多地复用了MegBrain
中的op
。这样做的原因是:
- 重写算子代价高,且容易写错。
- 若
Imperative
的实现和MegBrain
的实现不一致的话,容易导致训练推理不一致。
除了复用MegBrain
的部分功能,Imperative
自身包含的模块主要有:Module
(定义深度学习网络的基础类的实现)、Optimizer
(一些优化器的实现)、Functional
(提供python
层的训练接口)、Interpreter
(计算入口,底层会调用kernel
或者MegBrain
的算子实现)、DTR
(动态重计算模块)、Tracer
(记录计算图的计算过程)等。
这些模块会在之后的文章中有更详细的介绍,感兴趣的同学可以查阅 MegEngine 官方文档。
总结:Imperative 与 MegDNN / MegBrain 的关系
简单来说,MegDNN
负责MegEngine
中所有的计算操作在各个平台(CUDA
等)的最终实现,无论是MegBrain
还是Imperative
的op
,最终都需要通过调用MegDNN kernel
来完成计算。
既然MegDNN
包揽了计算的活儿,那么在训练推理过程中那些与计算无关的工作,自然就落到了MegBrain
和Imperative
的头上。这些工作包括:求导、内存分配、对Tensor
的shape
进行推导、图优化、编译等。
MegEngine
整体上是有两部分Runtime
以及底层的一些公共组件组成的。这两部分的Runtime
分别叫做Graph Runtime
(对应MegBrain
) 和Imperative Runtime
(对应Imperative
)。
Graph Runtime
负责静态图部分,主要提供C++
训练推理接口。实际计算时需要调用MegDNN
的实现。
Imperative Runtime
负责动态图部分,主要为动态训练提供Python
接口。实际计算时需要调用MegBrain
的已有实现或者直接调用MegDNN
的kernel
。
附:
更多 MegEngine 信息获取,您可以:查看文档和GitHub 项目,或加入 MegEngine 用户交流 QQ 群:1029741705。欢迎参与 MegEngine 社区贡献,成为Awesome MegEngineer,荣誉证书、定制礼品享不停。
关键词:
全球视点!MegEngine 动态执行引擎-Imperative Runtime 概述
当前聚焦:【新华500】新华500指数(989001)8日低开高走涨0.66%
广汽集团曾庆洪:汽车产业告别高增长黄金时代,淘汰赛加速进行 全球视讯
大爷将2台电动车焊一起自制代步车:觉得代步车太贵
小金毛冲进考场被无情请出 网友:忘带双证了?
突发!中国电信大面积崩溃:手机没信号、电话空号
显卡带来巨额利润 英伟达股价还能再涨30% 五大看涨理由…… 播资讯
今日精选:看似灯泡其实是个智能家居摄像机!萤石C8b 4G版图赏
天天微头条丨头部 UP 主入局,B 站带货时代来了?
理论+示例,详解GaussDB(DWS)资源管理 环球最新
C++ 引用
跟着源码学IM(十一):一套基于Netty的分布式高可用IM详细设计与实现(有源码)|当前快讯
观天下!MySQL百万级数据大分页查询优化的实现
矩形图的奇妙世界:揭开数据背后的故事 热点聚焦
中意悦享安康重疾险怎么样?保什么? 每日热讯
全球金融周期:趋势和影响——人民银行副行长、外汇局局长潘功胜在第十四届陆家嘴论坛上的主题演讲
弥勒岩在福清什么地方_弥勒岩
商家被大学生“占便宜”到崩溃引热议 7天无理由退货该取消吗?勿以恶小而为之|每日焦点
浙大创造出新物质:兼具硬度和弹性 真五边形战士
佛山一考生第一天走错考场:第二天赶不上公交 两次获救助 环球百事通
高考生出考场接受采访 同学跑来喊话:加强李信 环球热文
MediaTek天玑开发者中心官网上线 天玑生态圈加速引领移动应用体验进化 世界报道
每日看点!notify party和consignee(外贸单据中CONSIGNEE和NOTIFY PARTY有什么区别)
海口一老人街边突然摔倒,两小伙上前将人扶起 焦点速看
steam好友聊天闪退_steam好友功能激活
浙江省养老金调整方案及计算公式表 2022~2023年浙江省养老金调整方案细则最新消息(全文)
李云泽:坚决消除监管的空白和盲区 环球观热点
天天动态:以为走错 到了新考场发现这下真错了:女生闹大乌龙 幸运没耽误考试
不接受没用!欧美要把全球热门IP都改为黑人 塞尔达公主是黑人 太过分了?
百事通!618又要来了,江苏省消保委发布消费提示
岳阳县疾病预防控制局揭牌成立 焦点消息
深度学习应用篇-计算机视觉-目标检测[4]:综述、边界框bounding box、锚框(Anchor box)、交并比、非极大值抑制NMS、SoftNMS
Openjob:更强大、更智能的新一代分布式任务调度框架|世界热推荐
特斯拉被曝动员中国供应商出海 去墨西哥复制“上海工厂”|每日报道
官方重要提醒!网易暴雪游戏退款申请即将截止
全球新资讯:一个游泳池里到底有多少尿?
世界热点评!一本书卖4.5万 日本研究员拆解比亚迪海豹视频流出:竟有些热血
全球微头条丨燃油绝唱! 第八代高尔夫终于改款:首次搭载大尺寸屏幕
天天热门:一字千年,方正字库的守正与创新
MySQL索引的数据结构 环球快资讯
焦点!原生AJAX案例浏览器报错:Cross origin requests are only supported for protocol
全球头条:springboot~jgroups实现节点间的通讯
轻松实现物联网通信的利器:MQTT网关神器——FluxMQ 当前视点
win10配置Electron安装环境以及解决报错-消息
当前热文:青春的答卷
世界最新:当事博主否认被强制执行:特斯拉还想让平台封杀我 不是谁都给你面子
奶凶!沃尔沃史上最小SUV EX30发布!纯电续航480km 3.6秒破百
天天通讯!端午节假期火车票今日开售:调休放三天假 高速不免费
世界新动态:弯道强才是真的强!问界M5智驾版重庆山路实测:尽享丝滑
焦点快报!140W满功耗RTX 4060助力!618百亿补贴ROG魔霸7 Plus到手价仅8999元
天天时讯:郑外名师评卷·高考数学:反刷题、反套路,重视基础,稳中求新
龙湾开展“红色星期天”活动 让“一老一小”共享红色温暖 环球焦点
世界微头条丨太卷了,史上最简单的监控系统 catpaw 简介
小车PID巡线调节 全球报资讯
易基因|一种全新的检测DNA羟甲基化的技术:ACE-Seq 环球时快讯
JPA单表存储List与模糊查询
医保缴费多少年才可以终身享受待遇?多少钱一年?
欧盟将强制禁用华为5G设备 热点在线
性价比口碑双冠王!魅族20 PRO成618四千档性能神机 天天热资讯
雾霾笼罩纽约 自由女神像被“吞没” :美国大片地区昏黄烟雾 宛如末日降临-世界热头条
世界头条:高考时没有一个孔子是饿着的:学子争相给先贤送吃的 期盼金榜题名
女子开门杀致骑手摔倒被罐车卷入车底:第一反应竟是观察车门|天天速递
Adata 展示其 1600W PSU 可以为四个 450W RTX 4090 供电
java~如何使用无符号整型 看热讯
文字效果 用背景渐变实现 波浪背景文字
P1585 魔法阵 题解
关注2023年河南高考丨免费午餐温暖高考学子
西安李姐茶叶蛋的家常做法?
有人在麦田插钢筋损坏收割机:钢筋还特意用麦子包裹 天天报道
帅不过3秒!RTX 4060游戏本挑战全景光追惨败 天天实时
黑龙江黑河村庄遭龙卷风袭击:多处房屋损毁|焦点关注
安卓阵营早已实现:iOS 17相机终于引入“水平”辅助线_天天报资讯
天天看点:买显卡“送”橘猫!COLORFIRE RTX 4060 Ti橘影橙8GB 评测:比公版强2%
当前时讯:文档在线预览(四)将word、txt、ppt、excel、图片转成pdf来实现在线预览
热讯:工会代表候选人初步人选推荐情况的报告_人选和候选人的区别是什么
组图|2023年海南陵水黎安国际教育创新试验区知识产权沙龙活动举行
多家饭店因在凉皮内放黄瓜丝被罚 网友吵翻:专家科普为大家好
第27次参加!高考钉子户梁实愁眉苦脸出考场 直言考得不好_世界今日报
天天实时:Epic祝福高考学子被指配图不佳 随后换成《原神》截图
天天信息:灵商的组成中包括(灵商)
吉视传媒:公司目前没有发展和推动有esim卡业务 今日精选
全球短讯!青海省邮政管理局联合相关部门调研“客货邮”融合发展情况
世界即时看!福达合金:截至本公告披露日 公司及其控股子公司担保余额为人民币约7.86亿元
职业发展战术设计:构建可持续积累的职业优势 每日关注
微控制器实时操作系统实践3任务信令和通信机制
癫痫一年发作一次严重吗
什么海鱼内脏比较好吃?
魔域私服有合宝宝挂吗_457833415@ com 求个 有的给个 谢谢啦|今日视点
全球滚动:卡霍夫卡水电站大坝遭袭 扎波罗热地方官员:核电站情况稳定
万亿美元发债潮将至 美国金融体系或酝酿流动性风险 环球新动态
新兴产业加速崛起 海洋经济破浪前行
江苏黄沙港特大桥顺利合龙 预计6月底完工
高温范围扩大 这些地区的高考考生和家长需注意_当前资讯
雷雨大风+冰雹+龙卷!黑龙江省发布龙卷预警 焦点短讯
临川区气象台发布雷电黄色预警信号【III级/较重】【2023-06-07】 每日速讯
世界看热讯:不回巴萨!曝梅西已决定加盟美国球队迈阿密国际
Mac游戏看齐Win系统 苹果新工具可快速移植游戏
2023高考来临 大学生考点摆摊卖9.85与21.1元花束:给学弟学妹加油
暗黑满级号死于掉线
梅西官宣加盟迈阿密国际 老板是贝克汉姆:5000万欧年薪+苹果分成等