最新要闻
- 焦点速看:认知型通用大模型“360智脑”升级4.0,国内首发“文生视频”多模态功能
- 4连板联明股份:股价短期内涨幅明显高于上证指数及行业板块指数,但公司基本面未发生重大变化
- 多种矿物质元素 依能天然苏打水15瓶到手34.91元
- 世界快资讯:天气炎热 亚洲象开启“避暑模式”!网友:真羡慕了
- 超越《塞尔达传说:王国之泪》:《暗黑破坏神4》登顶英国周销量榜-新资讯
- 国产AI天花板!讯飞星火iOS内测版上线:已覆盖PC、手机等主流系统 短讯
- 微资讯!地表67℃!火焰山进入炙烤模式:景区为游客增配防暑药品
- 因为余华的一封信,莫言要去东澳岛读书了
- 科创浪潮奔涌大湾区
- PDF问世30周年 每年6月15日成“PDF日”
- 中国空间站美景请查收!央视解析全新构型:三舱三船
- 最高额外降温3℃:猫头鹰针对AMD AM5插槽CPU推出散热支架-热门
- 世界观天下!苹果蝉联2023年凯度BrandZ最具价值全球百强榜首:腾讯跻身十强
- 中国自研唯一入选项目!《王者荣耀亚运版本》发布:共计63个英雄
- 毕马威:力争在2030年将毕马威全球的直接和间接碳排放在2019年基础上减半 今日热议
- 世界今热点:层层梯田上红山荞麦播种忙 全产业链带动农民增收
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
MegEngine 使用小技巧:如何做 MegCC 的模型性能评测
MegCC是一个深度学习模型编译器,具有以下特点:
(相关资料图)
- 极轻量级运行时:只在二进制文件中保留所需的计算内核。例如,MobileNet v1 的81KB运行时间
- 高性能:每个操作都经过专家精心优化
- 便携:只生成计算代码,易于在 Linux、Android、TEE、BareMetal 上编译和使用
- Low Memory Usage while Boot Instantly:模型优化和内存规划在编译时生成。获得最先进的内存使用率,并且在推理过程中不花费额外的 CPU
MegCC 支持了基础的 Benchmark 模块用于测试各类模型的推理性能,获取推理时各个 Kernel 的性能数据,分析模型性能瓶颈。
如何使用 MegCC 基准测试
介绍
MegCC Benchmark 是一个简单的工具,可以在 MegCC 中获取不同模型的基准测试结果,文件结构如下所示:
├── clean.sh├── CMakeLists.txt├── main.cpp├── model│ ├── model_arm.json│ ├── model_riscv.json│ ├── model_x86.json│ └── request.txt├── python│ ├── example.py│ ├── format.sh│ └── src│ ├── benchmark.py│ └── models.py├── README.md├── src│ ├── benchmark.h│ ├── build_config.h.in│ ├── CCbenchmark.cpp│ ├── CCbenchmark.h│ ├── MGEbenchmark.cpp│ └── MGEbenchmark.h└── tools ├── cc_analysis.py └── inference_visual.py
在 src 中,它是一个 c++ 应用程序,用于在不同平台上运行基准测试结果。在 python 中,包含了模型转换,其他相关准备工作和基准测试示例,并给出了一些可用来分析基准测试结果工具脚本
支持模型
mobilenetv2、resnet18、efficientnetb0 shufflenetv2 vgg16
要求
mgeconvert > v.1.0.2onnx==1.11.0torch==1.10.0cmake >=3.15.2clangninjatorchvision==0.11.1`
mgeconvert 可以通过以下命令安装:
git clone https://github.com/MegEngine/mgeconvert.gitcd mgeconvertgit checkout masterpython3 -m pip install . --user --install-option="--targets=onnx"
获取模型并运行基准示例
cd megcc/benchmarkexport MEGCC_MGB_TO_TINYNN_PATH=python3 python/example.py
example 会从 torchvision 下载对应模型并转换为 onnx, onnx 模型通过 mgeconvert 以及mgb-to-tiynn 转换为 megcc 模型
如果你想在其他平台上运行,请参考示例在 BenchmarkRunner 中添加你新的 run_platform_xxx 函数,示例给出了一个ssh远程设备测试模板
分析megcc日志
example.py 运行结束后,会在 benchmark 目录下生成 output 目录,里面包含了模型的推理 log 以及 profile log,这些 log 可以用相关分析脚本可视化进行进一步的分析利用
生成的 log 示例如下:
output/├── megcc-x86-efficientnetb0-0-log-local.txt├── megcc-x86-efficientnetb0-3-log-local.txt├── megcc-x86-mobilenetv2-0-log-local.txt├── megcc-x86-mobilenetv2-3-log-local.txt├── megcc-x86-resnet18-0-log-local.txt├── megcc-x86-resnet18-3-log-local.txt├── megcc-x86-resnet50-0-log-local.txt├── megcc-x86-resnet50-3-log-local.txt├── megcc-x86-shufflenetv2-0-log-local.txt├── megcc-x86-shufflenetv2-3-log-local.txt├── megcc-x86-vgg11-0-log-local.txt├── megcc-x86-vgg11-3-log-local.txt├── megcc-x86-vgg16-0-log-local.txt└── megcc-x86-vgg16-3-log-local.txt
0 代表只测速的 log, 3 代表 profile 的 log
注意:需安装 matplotlib
可视化不同模型的推理结果
benchmark 下tools/inference_visual.py工具可以用于分析测速日志,获取各个模型推理的性能对照,用法如下:
python3 tools/inference_visual.py output -o figure_dir
运行完后会在 figure_dir 目录下生成如下所示的性能对照图:
可视化不同内核在不同模型中的分析结果
benchmark 下tools/cc_analysis.py工具可以用于分析profile日志,获取各个模型推理时前10个最耗时的kernel 耗时占比饼图,用法如下:
python3 tools/cc_analysis.py output -o figure_dir
运行完后相关饼图也会在 figure_dir 目录下生成, 示例如下:
附
更多 MegEngine 信息获取,您可以:查看文档、 深度学习框架 MegEngine 官网和 GitHub 项目,或加入 MegEngine 用户交流 QQ 群:1029741705
https://wiki.megvii-inc.com/pages/viewpage.action?pageId=444979800
关键词:
MegEngine 使用小技巧:如何做 MegCC 的模型性能评测
焦点速看:认知型通用大模型“360智脑”升级4.0,国内首发“文生视频”多模态功能
4连板联明股份:股价短期内涨幅明显高于上证指数及行业板块指数,但公司基本面未发生重大变化
多种矿物质元素 依能天然苏打水15瓶到手34.91元
世界快资讯:天气炎热 亚洲象开启“避暑模式”!网友:真羡慕了
超越《塞尔达传说:王国之泪》:《暗黑破坏神4》登顶英国周销量榜-新资讯
国产AI天花板!讯飞星火iOS内测版上线:已覆盖PC、手机等主流系统 短讯
微资讯!地表67℃!火焰山进入炙烤模式:景区为游客增配防暑药品
FTL没有映射,跟发工资没有钱有什么区别 要闻
【全球新要闻】奇妙敏捷之旅·青岛站,现场燃爆了!
联盟送福利:云上掘金,开启你收入的第二增长曲线 全球新视野
机器硬件监控,最简单的方案,没有之一
因为余华的一封信,莫言要去东澳岛读书了
恒生指数14日收跌0.58%结束五连涨
科创浪潮奔涌大湾区
PDF问世30周年 每年6月15日成“PDF日”
中国空间站美景请查收!央视解析全新构型:三舱三船
最高额外降温3℃:猫头鹰针对AMD AM5插槽CPU推出散热支架-热门
世界观天下!苹果蝉联2023年凯度BrandZ最具价值全球百强榜首:腾讯跻身十强
中国自研唯一入选项目!《王者荣耀亚运版本》发布:共计63个英雄
毕马威:力争在2030年将毕马威全球的直接和间接碳排放在2019年基础上减半 今日热议
世界时讯:SpringBoot中Redis的基础使用
利用 PHP 特性绕 WAF 测试 环球聚看点
linux-DNS域名解析
世界即时看!2种GaussDB(DWS)查看作业运行信息方式
收评:两市窄幅波动沪指微跌0.14% CPO概念股领涨 大消费主题反弹
热头条丨【新华500】新华500指数(989001)14日涨0.03%
世界今热点:层层梯田上红山荞麦播种忙 全产业链带动农民增收
【当前独家】AMD自杀式降价 讯景RX 7900 XT显卡到手5299元(首发7399)
男生说猫屎臭被头上扣饭?官方回应:已经处理
天天滚动:与K60 Ultra同台发!Redmi 2K新平板曝光:只要千元
外卖小哥从10多米高大桥跳水救人:见义勇为获奖3万、免费上大学
焦点热讯:中国第一条时速350铁路明日调图:动车组重联 运力翻倍
2023内蒙古师范大学附属中学英才计划招生简章
618大促|解析平台、商家和消费者必须面对的三大风险
【技术积累】Python中的NumPy库【二】|天天滚动
全球快资讯丨Springboot定时任务集成shedLock锁
今日热搜:开放中国依然是外商投资高地
每日动态!晋升第一人口大国后 印度将成为全球第一大手机市场:多谢苹果
不是录播!梅西即将在淘宝开启首次直播
华为又背锅?理想粉丝暗指华为发动舆论攻击:李想出面澄清
亚运会倒计时101天!杭州开通“亚运号”定制专列
国内最畅销SUV排名出炉:特斯拉Model Y反超比亚迪宋Plus拿下第一
天天快看点丨大文件上传功能在标签服务的简单应用和代码实现
Aurelia教程_编程入门自学教程_菜鸟教程-免费教程分享
让电池新规为电动自行车加把“安全锁” 全球热点评
全球动态:21℃室温超导成果被美院士宣称复现!南大教授:有3点质疑
全球报道:吉利高管评理想学华为:华为是时代的产物 但时代变了
全球今日报丨Vision Pro商标被华为注册!专家:苹果要么求华为和解 要么中国市场改名
王鸿薇反击林飞帆退选还推责任 毫无担当 每日视点
快看:0-500公里仅需20.16秒!布加迪火流星正式亮相勒芒赛场
锐龙7 7800X3D搭配A620主板实测:游戏性能依旧胜过i9-13900KS
能打过理想L7?丰田新款汉兰达上市:26.88万起-新资讯
焦点热讯:Nothing Phone (2) 定档7月11日:比亚迪代工
世界热讯:无惧A卡狠降价!英伟达RTX 4060国内上市时间曝光:2399元秒抢光?
理想汽车在重庆成立销售新公司,注册资本1000万|世界观天下
【世界速看料】读发布!设计与部署稳定的分布式系统(第2版)笔记02_停飞的代码异常
每日消息!经典webshell流量特征
华洋赛车北交所IPO成功过会:产品进入美国等50余个国家和地区 参与多项标准起草
全球规模最大!京东亚洲一号第100亿件智能包裹下线
短睡眠者可能“天赋异禀”:每天只需睡四五个小时
东莞暴雨 外卖小哥摔倒人车被水冲走:市民合力营救
最新快讯!特斯拉换电池价格曝光:最贵24.6万元一块 能买一辆奥迪
特斯拉Model Y在上海一大学完全拆解 沉浸教学“三电”原理
环球热点评!word文档如何打千分号 千分号在word上怎么打
数位 DP
【全球时快讯】深度学习应用篇-元学习[13]:元学习概念、学习期、工作原理、模型分类等
直播app源码技术之直播间内消息发送与接收的实现-世界今日讯
真实案例:Feign 切换 okhttp 无法生效,被老大骂的有点慌!
美国CPI进入下行趋势 黄金期货继续维持震荡 全球快看点
李想:很多友商那仨瓜俩枣的销量有啥可干的|天天速讯
男子熬夜喝冰镇饮料被送进ICU 医生从血里抽出一袋油脂:超标200倍 全球看点
环球讯息:西安现最牛司机 车尾标语3月撞7次!奔驰大G、奥迪都被撞过
世界新消息丨美国发布临时禁令:微软收购动视暴雪再次受阻
天津两处居民楼爆炸,致3死多伤!嫌疑人被抓获,作案工具是_环球新资讯
Canvas_绘制线段、圆形、文本、图像、视频、处理图像数据
【项目管理解决方案】上海道宁与Synami帮助您统一所有项目级别的信息,并使所有人轻松访问
Zabbix“专家坐诊”第195期问答汇总_当前看点
XenServer 7 GUI 虚拟机(VM)上的屏幕分辨率怎么提高? 环球简讯
入侵无线App盗用户资料 40岁男子被捕|观察
天天时讯:有无眉毛哪个更好看?哪吒CEO:“去掉眉毛”的哪吒GT将上市
携程梁建章建议:生三胎每月给五六千 给到18岁为止 速讯
15英寸MacBook Air首销破发!渠道价比官网便宜1000多|全球速看
新能源重卡 为何终将颠覆燃油重卡?
华为开发者大会2023早鸟票开售 498元起-全球最资讯
速讯:注意!绿心环线多路段将进行抓拍
MySQL性能分析及工具使用_今日热讯
演唱会买到“柱子票”,可以有更好的解决办法 全球要闻
PCIe 6.0还没用上:PCIe 7.0这就来了!x16速度高达512GB/s-世界滚动
175W功耗释放稳压64℃!铭瑄RTX 4060 Ti iCraft OC8G瑷珈显卡评测:二次元秀肌肉-环球观天下
为保护迎客松不让当地用户买木头、绿植?黄山回应
颠覆物理学!美国院士称复现室温超导 这还是骗局?
关注: 信用卡逾期停息挂账申请有什么条件?网贷逾期有什么影响?_当前热点
融创优化强制可转债方案 境外债重组方案获约近九成债权人支持
【读财报】游戏ETF透视:华夏基金规模、业绩领跑 华泰柏瑞、浦银安盛基金份额萎缩
南京十四所招聘官网_南京十四所_天天快资讯
20余省已公布高考查分时间:集中在6月下旬
卖1万多的15英寸MacBook Air 256GB SSD性能降级:不如上代
far away from home mp3下载百度网盘_far away from home歌词 天天短讯
95号汽油进入7元时代:国内油价接下来或还有降价空间!_天天信息