最新要闻
- 今日上映!《小美人鱼》豆瓣评论:难以接受黑人鱼、强凑CP、毁童年-焦点热门
- 即时:宝德暴芯x86处理器现身GeekBench 5:坐实就是Intel i3-10105
- 知名演员罗京民去世 曾饰演许三多的爹:张译等人发文悼念 焦点速递
- ST浩源:截至2023年5月20日,公司股东14658户,谢谢对公司的关注!|天天最新
- 升级天玑8200处理器:vivo S17 Pro现身Geekbench
- 曝小米13 Ultra欧洲售价超1.1万元:比iPhone 14 Pro、华为P60 Pro都贵_世界今日讯
- 全球球精选!破首发仅7499元!华硕天选4游戏本配锐龙9与RTX4060:高性价比真香
- 热点!散了吧!特斯拉车顶维权女车主败诉:刹车失灵观点站不住脚 没任何证据证明
- 《变形金刚7:超能勇士崛起》超燃特辑出炉:保时捷964街头飞车_热资讯
- 上市公司实控人离婚140亿归女方,盘点彤程新材投资版图
- 千元神机!荣耀X50首发骁龙6 Gen1:一亿像素加持
- 育碧再次背离玩家!《刺客信条:幻景》PC端Steam独不占_世界百事通
- 一眼假的诈骗短信是骗子智商不够吗?官方:这是极高效率筛选受害者
- 京东618大促攻略:iPhone 14 Pro系列直降1800元 多会员年卡探底|环球视点
- 百度文心大模型3.5版要来了!李彦宏:大模型将改变世界 环球热门
- 屹通新材:5月25日融资买入167.73万元,融资融券余额3877.74万元
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
手把手教你在昇腾平台上搭建PyTorch训练环境_天天新要闻
摘要:在昇腾平台上运行PyTorch业务时,需要搭建异构计算架构CANN软件开发环境,并安装PyTorch 框架,从而实现训练脚本的迁移、开发和调试。
本文分享自华为云社区《手把手教你在昇腾平台上搭建PyTorch训练环境》,作者:昇腾CANN。
(相关资料图)
PyTorch是业界流行的深度学习框架,用于开发深度学习训练脚本,默认运行在CPU/GPU上。在昇腾AI处理器上运行PyTorch业务时,需要搭建异构计算架构CANN(Compute Architecture for Neural Networks)软件开发环境,并安装PyTorch 框架,从而实现训练脚本的迁移、开发和调试。
下面带大家了解如何在昇腾平台上快速安装驱动固件、CANN软件及PyTorch框架。
环境检查
在昇腾平台上安装驱动和固件前,首先需要检查安装环境的NPU是否正常在位,并确认操作系统版本与内核版本是否满足对应的版本配套要求。
以Atlas 800 训练服务器(型号:9010)(昇腾AI处理器型号Ascend 910)为例,检查NPU是否正常在位可执行lspci | grep d801命令,如果服务器上有 N路NPU,回显N行含“d801”字段,则表示NPU正常在位。
安装驱动和固件
1.创建驱动运行用户HwHiAiUser。
groupadd -g 1000 HwHiAiUser useradd -g HwHiAiUser -u 1000 -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash
2.安装驱动和固件。
在昇腾社区的“固件与驱动”下载页面下载配套产品的固件驱动软件,并上传到服务器任意目录,然后参考如下命令进行固件驱动软件包的安装,需要注意,需要以root用户进行安装。
a.为软件包增加可执行权限。
chmod +x Ascend-hdk-910-npu-driver_23.0.rc1_linux-x86-64.runchmod +x Ascend-hdk-910-npu-firmware_6.3.0.1.241.run
b.安装驱动。
./Ascend-hdk-910-npu-driver_23.0.rc1_linux-x86-64.run --full --install-for-all
默认安装路径为“/usr/local/Ascend”,出现类似如下回显信息,说明安装成功。
Driver package installed successfully!复制
您还可以通过执行npu-smi info命令查看,出现类似如下信息,说明驱动加载成功。
c.安装固件。
./Ascend-hdk-910-npu-firmware_6.3.0.1.241.run --full
出现类型如下回显信息,说明安装成功。
Firmware package installed successfully! Reboot now or after driver installation for the installation/upgrade to take effect
3.驱动固件安装完成后,重启系统。
reboot
安装CANN软件依赖
CANN软件安装过程需要下载相关依赖,请确保安装环境能够连接网络,并已配置软件源,以下步骤以root用户操作为例。
1. 安装第三方依赖
Ubuntu系统(Debian、UOS20、Linux等系统操作一致):
apt-get install -y gcc g++ make cmake zlib1g zlib1g-dev openssl libsqlite3-dev libssl-dev libffi-dev unzip pciutils net-tools libblas-dev gfortran libblas3
openEuler系统(EulerOS、CentOS、BCLinux等系统操作一致):
yum install -y gcc gcc-c++ make cmake unzip zlib-devel libffi-devel openssl-devel pciutils net-tools sqlite-devel lapack-devel gcc-gfortran
2. 安装Python及其依赖
以安装Python 3.7.5为例。
1)通过wget命令下载python3.7.5源码包。
wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz
2)解压缩源码包
tar -zxvf Python-3.7.5.tgz
3)源码编译安装Python。
cd Python-3.7.5./configure --prefix=/usr/local/python3.7.5 --enable-loadable-sqlite-extensions --enable-sharedmakemake install
以--prefix=/usr/local/python3.7.5路径为例进行说明。执行配置、编译和安装命令后,安装包在/usr/local/python3.7.5路径。
4)设置python3.7.5环境变量。
#用于设置python3.7.5库文件路径export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib:$LD_LIBRARY_PATH#如果用户环境存在多个python3版本,则指定使用python3.7.5版本export PATH=/usr/local/python3.7.5/bin:$PATH
5)检查是否安装成功。
python3 --versionpip3 --version
返回相关版本信息,则说明安装成功。
6)安装pip依赖。
pip3 install attrs numpy decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py
安装CANN开发套件包
1. 从昇腾社区“CANN”产品页,根据操作系统架构下载CANN开发套件包。
例如“Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run”,并将其上传到安装环境任意目录。
2. 安装CANN开发套件包。
# 添加可执行权限chmod +x Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run# 校验软件包的一致性和完整性./Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run --check# 执行安装命令./Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run --install --install-for-all
安装完成后,若显示如下信息,则说明软件安装成功:
[INFO] xxx install success
xxx表示安装的实际软件包名。
安装PyTorch
CANN软件包安装完成后,就可以进行PyTorch的安装了。开发者可以选择PyTorch 1.8.1或PyTorch 1.11.0版本,PyTorch安装成功后再安装APEX混合精度模块。在安装Pytorch前,需要先安装以下依赖。
pip3 install wheelpip3 install typing_extensions
安装PyTorch 1.8.1
1)安装官方torch包。
x86_64架构
wget https://download.pytorch.org/whl/cpu/torch-1.8.1%2Bcpu-cp37-cp37m-linux_x86_64.whlpip3 install torch-1.8.1+cpu-cp37-cp37m-linux_x86_64.whl
aarch64架构
wget https://repo.huaweicloud.com/kunpeng/archive/Ascend/PyTorch/torch-1.8.1-cp37-cp37m-linux_aarch64.whlpip3 install torch-1.8.1-cp37-cp37m-linux_aarch64.whl
2)安装昇腾提供的PyTorch适配插件torch_npu。
x86_64架构
wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.8.1/torch_npu-1.8.1.post1-cp37-cp37m-linux_ x86_64.whlpip3 install torch_npu-1.8.1.post1-cp37-cp37m-linux_ x86_64.whl
aarch64架构
wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.8.1/torch_npu-1.8.1.post1-cp37-cp37m-linux_aarch64.whlpip3 install torch_npu-1.8.1.post1-cp37-cp37m-linux_aarch64.whl
此处以5.0.rc1版本为例,实际请选择CANN配套的PyTorch插件版本进行安装。
3)安装对应框架版本的torchvision。
pip3 install torchvision==0.9.1
4)验证是否安装成功。
python -c "import torch;import torch_npu; a = torch.ones(3, 4).npu(); print(a + a);"
如果输出包含如下关键信息则说明PyTorch安装成功。
[[2., 2., 2., 2.], [2., 2., 2., 2.], [2., 2., 2., 2.]]
安装PyTorch 1.11.0
1)安装官方torch包。
x86_64架构
wget https://download.pytorch.org/whl/cpu/torch-1.11.0%2Bcpu-cp37-cp37m-linux_x86_64.whlpip3 install torch-1.11.0+cpu-cp37-cp37m-linux_x86_64.whl
aarch64架构
wget https://repo.huaweicloud.com/kunpeng/archive/Ascend/PyTorch/torch-1.11.0-cp37-cp37m-linux_aarch64.whlpip3 install torch-1.11.0-cp37-cp37m-linux_aarch64.whl
2)安装昇腾提供的PyTorch适配插件torch_npu。
x86_64架构
wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.11.0/torch_npu-1.11.0-cp37-cp37m-linux_ x86_64.whlpip3 install torch_npu-1.11.0-cp37-cp37m-linux_ x86_64.whl
aarch64架构
wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.11.0/torch_npu-1.11.0-cp37-cp37m-linux_aarch64.whlpip3 install torch_npu-1.11.0-cp37-cp37m-linux_aarch64.whl
3)安装对应框架版本的torchvision。
pip3 install torchvision==0.12.0
4)验证PyTorch是否安装成功。
python -c "import torch;import torch_npu; a = torch.ones(3, 4).npu(); print(a + a);"
如果输出包含如下关键信息则说明PyTorch安装成功。
[[2., 2., 2., 2.], [2., 2., 2., 2.], [2., 2., 2., 2.]]
安装APEX混合精度模块
APEX混合精度模块是一个集优化性能、精度收敛于一身的综合优化库,可以提供不同场景下的混合精度训练支持。
1. 获取昇腾适配的APEX源码以及原生APEX代码。
# 获取昇腾适配的APEX源码git clone -b master https://gitee.com/ascend/apex.git# 在apex目录下获取原生APEX代码cd apexgit clone https://github.com/NVIDIA/apex.git
2. 切换到原生APEX代码对应分支。
cd apexgit checkout 4ef930c1c884fdca5f472ab2ce7cb9b505d26c1acd ..
3. 在昇腾适配APEX源码目录的scripts路径下生成昇腾适配全量代码。
cd scriptsbash gen.sh
4. 编译生成昇腾适配的APEX二进制安装包。
cd ../apexpython3 setup.py --cpp_ext --npu_float_status bdist_wheel
5. 安装APEX。
86_64架构
cd distpip3 install apex-0.1_ascend-cp37-cp37m-linux_ x86_64.whl
aarch64架构
cd distpip3 install apex-0.1_ascend-cp37-cp37m-linux_aarch64.whl
到此,PyTorch训练环境就搭建完毕了,开发者可以将PyTorch网络脚本迁移到昇腾平台执行训练,使用昇腾平台的强大算力。
关于更多文档介绍,可以在昇腾文档中心[1]查看,您也可在“昇腾社区在线课程[2]”板块学习视频课程,学习过程中的任何疑问,都可以在“昇腾论坛[3]”互动交流!
相关参考
[1]昇腾文档中心
[2]昇腾社区在线课程
[3]昇腾论坛
点击关注,第一时间了解华为云新鲜技术~
关键词:
手把手教你在昇腾平台上搭建PyTorch训练环境_天天新要闻
今日上映!《小美人鱼》豆瓣评论:难以接受黑人鱼、强凑CP、毁童年-焦点热门
即时:宝德暴芯x86处理器现身GeekBench 5:坐实就是Intel i3-10105
知名演员罗京民去世 曾饰演许三多的爹:张译等人发文悼念 焦点速递
ST浩源:截至2023年5月20日,公司股东14658户,谢谢对公司的关注!|天天最新
每个.NET开发都应该知道的10个.NET库
关于AWS中VPC下的IGW-internet gateway的创建与说明
升级天玑8200处理器:vivo S17 Pro现身Geekbench
曝小米13 Ultra欧洲售价超1.1万元:比iPhone 14 Pro、华为P60 Pro都贵_世界今日讯
全球球精选!破首发仅7499元!华硕天选4游戏本配锐龙9与RTX4060:高性价比真香
热点!散了吧!特斯拉车顶维权女车主败诉:刹车失灵观点站不住脚 没任何证据证明
《变形金刚7:超能勇士崛起》超燃特辑出炉:保时捷964街头飞车_热资讯
Netty实战(三)
上市公司实控人离婚140亿归女方,盘点彤程新材投资版图
千元神机!荣耀X50首发骁龙6 Gen1:一亿像素加持
育碧再次背离玩家!《刺客信条:幻景》PC端Steam独不占_世界百事通
一眼假的诈骗短信是骗子智商不够吗?官方:这是极高效率筛选受害者
京东618大促攻略:iPhone 14 Pro系列直降1800元 多会员年卡探底|环球视点
百度文心大模型3.5版要来了!李彦宏:大模型将改变世界 环球热门
屹通新材:5月25日融资买入167.73万元,融资融券余额3877.74万元
统信UOS系统开发笔记(一):国产统信UOS系统搭建开发环境之虚拟机安装
揭秘百度IM消息中台的全量用户消息推送技术改造实践
Python工具箱系列(三十三)
海内外直播源码加密技术保障您的隐私安全 焦点快播
Windows下使用docker部署.Net Core 全球今热点
一天斩获3个冠军!全国花游冠军赛北京队“开门红”-快看点
DXO拍照全球第一!华为P60 Pro新增12GB+256GB版本 6488元
单价6.5亿 想坐吗?国产大飞机C919商业首航来了:5月28日、上海至北京_微头条
神操作 小汽车撞倒闯红灯三轮车后居然直接走了 无责变有责
糟糕!下一轮国内油价调整“由跌转涨”:当前上调75元/吨 今日快讯
牌面!福特CEO称特斯拉不是最大竞争对手 比亚迪才是 环球新消息
环球视讯!UE/虚幻 蓝图实现通过http获取数据(以高德地图API为例)&Json格式数据的读取
标准化考场时间同步系统(网络时钟系统)规划建设应用 每日快播
Java设计模式-策略模式|环球快资讯
焦点要闻:美联储加息预期升温 美元兑日元汇率再度站上140
计算机时代变了 NVIDIA黄仁勋:CPU用得越来越少 GPU才是关键|世界实时
【世界快播报】自研火箭发射8颗卫星 韩国表态已成航天强国:仅中美等7国做到
当前快报:跟比亚迪海豚争场子 五菱云朵8月上市:10万级大五座纯电新宠
焦点观察:优派推出新款27寸4K Mini LED显示器:支持96W反向充 2999元
山东一高速现天价救援费:20公里被收11000元 结局大快人心 观天下
世界热点!Fastjson 很快,但不适合我....
每日观点:干瘦肉炒什么配菜好吃?
一季度垃圾短信投诉5万件 官方揭秘:主要是这10家公司发的
18888元求票 五月天黄牛票涨回去了?29名黄牛被查处|当前简讯
你吃过没?商家回应淄博烧烤降温:再不降温我们也受不了|新消息
世界消息!成都一轿车冲进店铺撞坏16个骨灰盒 现场损坏严重:网友称是大众
遥遥领先!华为分布式存储斩获IO500榜全球第一:Intel看不见尾灯
裘皮是什么皮_裘皮的介绍 天天资讯
触达债务上限日期或在两周后 美债收益率延续上行_环球微头条
国际金融市场早知道:5月26日|焦点热讯
刘强东14年为宿迁投入超200亿!宿迁第一高楼启用 未来3年在当地新招上万人
世界热点评!《英雄联盟手游》今日更新:无限火力升级归来 英雄可达25级
刷新世界纪录!中国吊起142米、3068吨“巨无霸”大塔
选择商品的发布类目方式有_选择一款正确发布的商品
今日要闻!学系统集成项目管理工程师(中项)系列27_10大管理47过程、输入输出工具和技术(2版教材)
今天国内上映!《小美人鱼》来了 口碑解禁观众爱看小黑美人鱼
新概念英语语法词汇练习第一册_关于新概念英语语法词汇练习第一册简介 热点在线
调优圣经:零基础精通Jmeter分布式压测,10Wqps+超高并发 世界快资讯
直接用中文写提示词的Stable Diffusion扩展:sd-prompt-translator发布
上海高架斗气车主或涉嫌什么罪名?专家解读多种可能
天天热门:史上最大涨幅!康宁:所有玻璃基板提价20%
天天头条:让友商恨得牙痒痒的比亚迪宋Pro DM-i冠军版:到底怎么样?
视焦点讯!马斯克吹了三年的锂电之光4680:竟然还不如普通电池!
袋鼠贵为澳大利亚国宝 却每年被合法猎杀几百万只:为啥? 全球即时看
当前快播:宠物经济板块5月25日跌0.66%,狮头股份领跌,主力资金净流出7407.47万元
鼻中隔糜烂用什么药最好_鼻中隔糜烂
当前消息!新仙剑奇侠传之挥剑问情林月如怎么获得 林月如获取方法介绍
药智网数据库 高校(药智网数据库)
沪指险守3200点 外资连续3天撤离!热门题材持续活跃
头条焦点:适合女孩子玩的单机小游戏(有哪些适合女生玩的单机小游戏?)
广州47中好不好_广州市47中高中部的重点班有哪些
记录一次服务器磁盘爆满问题
君爵商务车2023款价格及图片_君爵
环球今日讯!不愧是大哥!RTX 4090游戏本实测性能拉满
环球精选!Win11年度重磅更新Moment 3发布下载:所有Win32程序皆可沙盒运行
全球热讯:iOS 17更新内容少!原来苹果把心思放在这了
2499元起!网友对小米Civi 3定价感到意外
5月25日晚间沪深上市公司重大事项公告最新快递-环球热文
6)表连接
环球快报:铂科新材(300811)5月25日主力资金净买入56.30万元
阿里巴巴否认大裁员:今年需招15000人 每天数千岗位在纳新-天天快看
全球动态:油电同价!比亚迪宋Pro DM-i冠军版入门就71KM 13.58万起
世界资讯:14.3GB/s!PCIe 5.0 SSD第一次满血了 但是必须水冷?
环球观点:有人出18888元求票!五月天黄牛票涨回去了?
安徽男子遇AI诈骗:9秒被骗132万 世界最资讯
广东一熊孩子拿着剪刀减掉女顾客头发 家长赔偿其11500元
深圳市举行普通小汽车增量指标竞价活动 成交价创5年新低
韩国自主研发运载火箭发射升空 计划将其送入550千米高的太阳同步轨道
文心一言 VS 讯飞星火 VS chatgpt (22)-- 算法导论4.2 2题_当前简讯
11-计数器
最新消息:位运算在排序算法中的运用
浙商入川觅商机:签约项目34个 投资金额达138亿元|世界关注
惠誉发出评级警告 美债僵局如何收场|全球热议
【全球报资讯】惠誉发出评级警告 美债僵局如何收场
可追溯至40年前!日立本田合资零件厂承认长期造假
环球新资讯:必应取代百度成中国第一?百度:数据离谱 中文搜索有自信第一
每日报道:租客仅剩13元花11元买瓜探望房东:情义无价!满满正能量
爱奇艺辟谣子公司将裁员50%:不实 法务部门已介入
圣农发展:4月份销量降低是源于公司预判后期市场持续向好,增加了部分的战略库存 环球时快讯
宁波美诺华天康药业有限公司获得盐酸莫西沙星片药品注册批件