最新要闻
- 中字头午后逐渐接管盘面 中国铝业此前触板 中船科技升近4%
- 高德红外于杭州新设数字科技公司 含智能机器人研发业务
- 有色金属板块震荡回升 中国铝业大涨6%
- 长沙学院经管学子走近蔡伦古法造纸技艺开展社会实践
- 售价或为15万左右,宝骏云朵内饰官图发布!
- 远东宏信又一地标项目启用,为区域经济社会发展赋能
- 茂名:崛起中的经济强市
- Redmi Note 13曝光:原生搭载MIUI 15
- 中国顶流明星有哪些(中国已故明星有哪些)
- 直播实战研习课堂,8万卷王有啥实力?
- 真我GT Neo6曝光:24GB大内存 1T存储空间
- 平安不动产180亿元公司债券发行计划获通过
- 2023年校友会中国大学法学实力排名20强
- 储能产业风口来袭 惠阳迎风蓄势起飞
- 从游戏手机到电竞平板 玩家真的需要这些专业设备吗? 精选
- 放心了!SSD价格还要继续大跌:三季度再降最多13%
手机
宜章、乐昌公安机关签订治安联防协作新机制
2023.7.6 WCI
- 宜章、乐昌公安机关签订治安联防协作新机制
- 2023.7.6 WCI
- 马斯克旗下“星链”将为蒙古国提供高速互联网服务
- 不可原谅!马琳鲁莽决定付出代价,刘国梁失望,陈梦王曼昱不妙
- 主流钢厂暂未回应提涨 本周独立焦企吨焦亏损小增
- 蔚来官方回应竞品对比宣传:ES8车内空间领先绝大多数SUV
家电
AI推理实践丨多路极致性能目标检测最佳实践设计解密
摘要:基于CANN的多路极致性能目标检测最佳实践设计解密。
本文分享自华为云社区《基于CANN的AI推理最佳实践丨多路极致性能目标检测应用设计解密》,作者: 昇腾CANN 。
当前人工智能领域,最热门的无疑是以ChatGPT为代表的各种“新贵”大模型,它们高高在上,让你无法触及。但在人们的日常生活中,实际应用需求最大的还是以Yolo模型为代表的目标检测“豪强”,它们每天都在以各种方式落地、应用于我们日常生活的方方面面。
(资料图片)
目标检测是计算机视觉领域的一项关键技术,它的任务是找出图像中所有感兴趣的目标,确定它们的类别和位置。随着人工智能潜移默化地渗入人们的生活中,各行各业竞相通过引入目标检测等技术打开市场空间,关于目标检测的各类人工智能需求也奔涌而来,比如:
- 在交通领域,目标检测可以用来检测道路上的行人、车辆、交通标志等物体,提升行驶安全和通行便利性。
- 在安全领域,目标检测可以用来检测关键特征、特定行为或者可疑物体,以便快速发现和识别安全威胁。
- 在医疗领域,目标检测可以用来识别身体部位、病灶、心电图、CT影像等,以便快速辅助诊断。
- 在生活领域,目标检测可以用于智能购物、智能家居等场景,提升人们生活的便利性。
但AI应用开发门槛高,周期长。各类AI软件栈理解成本高、AI算法模型与业务结合难度高、对开发人员的技能要求也较高。如何提升AI推理应用的开发效率,降低开发门槛,是亟需改善的现状。为此,昇腾CANN技术专家设计和开发了针对目标检测应用的最佳实践,让开发者可以在昇腾平台上快速部署目标检测应用,轻松获得几十甚至上百路的检测效果。下面我们就来详细拆解一下这个实践的设计思路。
基础应用分解
我们首先从一个基础的目标检测推理应用场景开始,推理流程通常包含如下几个部分:
GPU AI推理业务流程
- 数据输入是摄像头获取的视频数据流,一般以H.264格式为主。
- 然后通过FFmpeg软件,将连续的视频流进行拆帧和解码。
- 下一阶段是对解码后的图像进行预处理,通常使用OpenCV对图像进行缩放,得到模型需要的图像规格。
- 模型推理环节,用户可以选择的方式比较多,比较典型的是使用TensorRT进行推理应用开发。
- 目标检测后处理需要进行NMS计算,进行图片画框等操作。
- 数据输出阶段,用户根据需要实现一个结果呈现形式。
推理功能适配
将上面介绍的目标检测应用迁移到昇腾平台,开发者仅需关注“推理”环节的适配,包括如下两个步骤:
- 将推理模型文件(onnx模型或pb模型)通过ATC工具转化为昇腾平台专属的离线om文件。
- 使用昇腾AscendCL语言开发模型加载和模型执行的逻辑。
基于CANN的AI推理业务流程
完成如上两个环节后,推理应用的功能就已经迁移到昇腾平台了。这时若整体的推理性能未达到理想预期,就需要进入性能优化提升阶段。
性能提升方式一:使能DVPP硬件的高效编解码能力
DVPP(Digital Vision Pre-Processing,数字视觉预处理)是昇腾AI处理器内置的图像处理单元,通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力,主要包括以下功能:
- VPC(Vision Preprocessing Core):处理YUV、RGB等格式的图片,包括缩放、抠图、色域转换等。
- JPEGD(JPEG Decoder):JPEG压缩格式→YUV格式的图片解码。
- JPEGE(JPEG Encoder):YUV格式→JPEG压缩格式的图片编码。
- VDEC(Video Decoder):H264/H265格式→YUV/RGB格式的视频码流解码。
- VENC(Video Encoder):YUV420SP格式→H264/H265格式的视频码流编码。
- PNGD(PNG Decoder):PNG格式→RGB格式的图片解码。
Ascend 310 AI处理器逻辑架构中DVPP位置
开发者可以通过DVPP对图像进行硬件解码和处理,提升图像处理效率。另外,DVPP和执行推理的计算单元AI Core是完全独立的硬件单元,无需担心使用DVPP后会对推理执行的性能产生影响。
基于CANN的AI推理业务流程——使用DVPP进行数据预处理
性能提升方式二:增加推理前后数据并行,让推理步骤一刻不停
昇腾平台采用异构计算架构,所以要充分利用计算核心AI Core的超强能力,就需要保证AI Core计算需要的数据能够持续不间断供给,同时能够无等待输出。为了实现此能力,可以在数据预处理→模型推理,模型推理→数据后处理模块间通过队列的机制,增加推理模块的并行流水。
基于CANN的AI推理业务流程——通过队列增加推理并行流水
同理,在FFmpeg视频拆帧和DVPP处理之间,也可以使用队列,进一步增加并行情况。但需要注意推理侧的队列数据会消耗硬件内存,所以需要要合理设置。
性能提升方式三:多线程并发,持续释放AI Core性能
多线程是提升硬件资源利用率的重要手段,通过多线程的支持,可以实现多路不同源的视频输入;针对服务器多卡的场景,同样支持多个卡并行执行,充分释放昇腾软硬件的性能。
基于CANN的AI推理业务流程——多线程并发
基于目标检测最佳实践,开发者可轻松实现已有AI推理应用到昇腾平台的迁移,并轻松达成高性能。开发者也可以参考此实践快速上手AI开发,玩转昇腾平台推理应用。未来,CANN将持续致力于应用开发的易用性提升,不断满足开发者的诉求。
点击Link,获取多路高性能目标检测最佳实践源码。
点击关注,第一时间了解华为云新鲜技术~
关键词:
AI推理实践丨多路极致性能目标检测最佳实践设计解密
现在草莓批发价多少钱一斤?
中字头午后逐渐接管盘面 中国铝业此前触板 中船科技升近4%
2022世界GDP十强城市大洗牌:纽约仍领先,东京被洛杉矶超越
河南网球小花白卓璇 闯进温网第二轮
图片报:金玟哉体检推迟进行,拜仁派队医去韩国成队史最疯狂体检
歌曲离歌两个字唱不上去怎么办(歌曲《离歌》的歌词?)
问界M9最新消息曝光 配鸿蒙4.0车机 搭载5档空气悬架
上市33天迎来第一万台下线!吉利又一爆款单品诞生
江西省丰城市发布高温橙色预警
午评:沪指跌0.36% 种业、水产板块逆势走强
康师傅饮品投资公司增资至5亿美元
暑期到来,带孩子乘火车出游请注意这些安全问题
小暑|花young节气
共创草坪(605099):股价成功突破年线压力位-后市看多(涨)(07-07)
国林科技:公司2021年销售费用中职工薪酬较2020年增加主要系售后人员工资计入销售费用所致
泰诺麦博拟冲刺科创板IPO,辅导券商为华泰联合证券
科汇股份:公司目前不涉及减速器类产品
湘潭县:“政务小莲”解难题 “12345”热线为民办实事
山航B退7月7日盘中涨停
“清凉电器”出口增速迅猛
天风证券给予兴业科技买入评级,激励高增提振信心,运营拐点加速成长
宜章、乐昌公安机关签订治安联防协作新机制
俄乌局势进展:乌总统称武器交付慢影响反攻进程 IAEA称扎波罗热核电站暂未发现爆炸物
2023.7.6 WCI
广发证券:低估值分红收益率处于高位 看好下半年煤价趋稳及行业估值提升
高德红外于杭州新设数字科技公司 含智能机器人研发业务
隔夜SHIBOR报1.1040% 上涨5.60个基点 7天SHIBOR报1.7790%
市人社局发布致2023届高校毕业生的一封信:诚邀高校毕业生留厦来厦回厦就业创业
有色金属板块震荡回升 中国铝业大涨6%
长沙学院经管学子走近蔡伦古法造纸技艺开展社会实践
适用个税优惠的商业健康保险范围扩大
郭刚堂庭外为寻亲人士发声:相信有关部门,坚持下去
「异动股」转基因板块拉升,农发种业(600313.CN)涨6.81%
子长市:“四个”持续加力 打造宜居宜业和美乡村
售价或为15万左右,宝骏云朵内饰官图发布!
供销社概念异动拉升
【看世界】全球气温连续3天出现“史上最热”,专家警告厄尔尼诺今年又来了
今年的高校录取通知书有多“卷”?把浪漫玩到极致!
文化科技卫生“三下乡”活动启动
报告:北京写字楼空置率小幅上升 这三类零售店铺增加最多
“茅粉”共聚乌江寨 乐享茅粉嘉年华
被欧盟要求表态支持乌克兰,拉共体提出“反提案”
小爱汇成大爱 传递一瓶水的“清凉”
远东宏信又一地标项目启用,为区域经济社会发展赋能
AI大模型国家队定了!360、百度、华为、阿里入局
马斯克旗下“星链”将为蒙古国提供高速互联网服务
男篮抵达斯洛文尼亚!姚明暖心送机,曝拉练赛程,李凯尔仅缺1场
【中国式现代化长三角实践】走进“江南第一村” 看呈坎古村落如何“活起来”
绿化面积超200万平方米!郑州园博园将打造郑州航空港新名片
微软生态圈协作领域研讨会 · Jupiter丘比特21:9沉浸式Teams会议分享
不可原谅!马琳鲁莽决定付出代价,刘国梁失望,陈梦王曼昱不妙
服务到田,稳粮增收底气足
京东五星电器第二届“储鲜节”清凉上线!带动冰箱销售火爆
2023年武汉科技大学暑假时间安排
四川普通高校艺体类招生各批次录取时间2023
成都大运会有足球比赛吗?
平安少儿鑫利保险怎么样?值得买吗?
台州方特停车场收费标准是多少?附表格
河南三支一扶要求年龄吗
《潜水员戴夫》长吻银鲛在哪里抓?长吻银鲛抓捕地点
从A股“不死鸟”到贵酒局,岩石股份的白酒梦
中国家电电商行业发展分析与投资前景预2023
2023哈尔滨中考位次表什么时候公布
湖南发展7月7日快速上涨
主流钢厂暂未回应提涨 本周独立焦企吨焦亏损小增
蔚来官方回应竞品对比宣传:ES8车内空间领先绝大多数SUV
全球气温持续攀升 7月4日刷新全球最热纪录
贾跃亭造车梦是否已经实现?ff又迎重大变革
离大谱!“小甜甜”布兰妮竟遭文班亚马保安掌掴
终极宇宙为何会成为漫威最疯狂的平行宇宙,只因这个宇宙故事太多
小暑:倏忽温风至 因循小暑来
因成绩不佳用棒球棍打死西班牙语老师,美国少年被判终身监禁
为了老baby们手机里的秘密,我研究了100个中老年抖音号
Meta旗下社交应用程序Threads暂不会在欧盟推出
近百名香港青年在浙江龙泉“当匠人” 深度体验剑瓷文化
曼联加紧追逐霍伊伦德 凯恩奥斯梅恩是不现实的选择
中国女足出征世界杯!每人保底获3万奖金,最高27万,男足拿不到
豪江智能办公产品新建项目开工 总投资约1.08亿元
成都数据集团揭牌成立 注册资本40亿元
茂名:崛起中的经济强市
数据作为新的生产要素,如何赋能企业业务?
花开正盛,满园飘香!来石景山赴一场盛夏之宴
《网络暴力信息治理规定(征求意见稿)》:网络信息服务提供者应当提供一键关闭陌生人私信、评论、转发和消息提醒等设置
以“球”会友 以“赛”传情 大方县第一中学首届“云龙杯”羽毛球赛成功举办
热到融化!高温+雨=下开水?今年会是“史上最热年”吗?
开镰收割!鹤山早稻迎来丰收季
中午喝的酒晚上被查出酒驾!切莫心存侥幸!
陕西省商南县发布高温黄色预警
逆水寒手游二级密码设置攻略
dnf次元回廊机制攻略次元回廊机制教学
点篮球之火 燃少年梦想——临渭区第五届少儿篮球夏令营开营
旅游 | 陕西西安:雪糕音乐伴夜游 小暑消暑共享夏日美好
赵露思新剧,被全网抵制?
空间又大又豪华,四款纯电动中型 SUV 推荐
dnf燃武套哪里买 dnf燃武套获取攻略
农业“芯片”插上数字化翅膀 我国水稻智能育种迈入4.0阶段
新乡经开区管委会主任调研区内重点项目建设工作
机构报告:上半年全国优化楼市调控超300次 下半年政策加力预期增强
中国县域经济一哥强在哪?萧山再赴昆山取经