最新要闻
- 京东手机金榜出炉:Redmi K60力压iPhone 14夺冠
- 韧性回弹 脚感澎湃 361°运动拖鞋63元狂促(门店159元)-实时
- 真正的国产显卡之光!摩尔线程国产GPU、AI与元宇宙多项进展深入解读
- 中国铁塔:每天为近百万外卖和快递小哥提供换电充电服务
- h2o2摩尔质量_h2o2
- 抢收同时抢种,河南已完成夏播2340万亩
- 华擎又出妖板!迷你身材 塞进去128个Arm核心 环球热资讯
- 多国出现人类偏肺病毒感染 一年1.6万儿童死亡!尚无治疗药物
- 机会越来越好-与君周末谈20230604
- 虚幻5国漫巅峰 《斗罗大陆》比比东成神 巨型镰刀秒杀唐三
- 甚至没动工!《赛博朋克2077》续作明年才将投入开发 播资讯
- 我的脸被隐翅虫毁容了!千万小心“会飞的硫酸”
- 积成电子:预中标1.05亿元国家电网采购项目_世界新消息
- 全球微资讯!时速133严重车祸 车主:感谢驱逐舰05救我一命 又买了辆比亚迪汉
- 环球热文:马斯克北京首日晚宴多少钱?22人“吃”掉4.5万元
- CPU的功能是什么_cpu的主要功能
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
【奶奶看了都会】云服务器ChatGLM模型fine-tuning微调,让你拥有自己的知识库|世界动态
1.背景
大家好啊,上次给大家写了ChatGLM-6B的部署使用教程,【奶奶看了都会】云服务器部署开源ChatGLM-6B,让你拥有自己的ChatGPT
但是因为模型比较小的问题,所以日常工作中可能用不上。而且大家更希望的是模型能训练自己的数据,为自己服务。比如:公司内部用自己的知识库数据进行微调,训练成内部知识问答机器人,这样对于各种业务问题答疑,机器人立马就能给出对应的答案,比单纯的问题搜索好太多了。
【资料图】
还是老规矩,先让大家看看微调前后ChatGLM对不同业务问题的回答:
2.部署ChatGLM
详细部署教程可以参考上一篇文章:【奶奶看了都会】云服务器部署开源ChatGLM-6B,让你拥有自己的ChatGPT,这里我们简单说说部署步骤,重点讲微调教程
2.1创建空间
这里我们还是用揽睿星舟的云服务器进行操作,主要还是便宜嘛,一台3090-24G显存的机器只需要1.9元/小时,适合咱们这种口袋不鼓的小白玩家。
注册地址:揽睿云注册地址
注册账号时邀请码填写4104
通过我的链接注册的用户,登陆后点击右上角机器人图标,点击“充值”,选择其他金额输入“3.8“,即可获得免费3.8元算力
目前平台还有一个用户邀请用户的活动。如果邀请一个充值用户,平台会自动返 10元现金券。邀请方法就是在“个人设置”里面找到邀请码,分享出去,有用户通过个人邀请码充值,分享者就能获得10元的现金券~
然后我们选择一台3090-24G的服务器,创建工作空间,链接:https://www.lanrui-ai.com/console/workspace/create?mode=after&resource_name=ark.gpu.3090
配置选择可以看下图,公有镜像、挂载网盘即可
2.2部署ChatGLM-6B
1.创建完工作空间后,进入jupyter页面,并创建一个终端,然后我们开始下载代码,执行命令
//1.进入data目录cd data//2.下载代码git clone https://github.com/THUDM/ChatGLM-6B.git
2.下载代码后,修改requirements.txt
文件,加上需要安装的依赖
icetkchardetstreamlitstreamlit-chatrouge_chinesenltkjiebadatasets
然后执行pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
安装依赖
3.下载模型文件
//下载小文件cd ChatGLM-6Bgit clone https://huggingface.co/THUDM/chatglm-6b// 删除不用的空文件rm -rf ice_text.modelrm -rf pytorch_model-0000*
接着进入到chatglm-6b目录下,新建一个down.py
的文件,把下面的代码拷贝进去。我们准备下载大文件了
import requestsurl="https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fice_text.model&dl=1"save_path="ice_text.model"# 设置headerheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}# 获取文件并写入res = requests.get(url,headers=headers)file1 =open(save_path,"wb")file1.write(res.content)file1.close()url1="https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/files/?p=%2Fpytorch_model-0000"url2="-of-00008.bin&dl=1"save_path1="pytorch_model-0000"save_path2="-of-00008.bin"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}# 循环获取models,总共有8个基础模型for i in range(8): url=url1+str(i+1)+url2 save_path=save_path1+str(i+1)+save_path2 res = requests.get(url,headers=headers) file1 =open(save_path,"wb") file1.write(res.content) file1.close() print("第{}个模型下载已完成".format(i+1))
保存后,命令行执行python3 down.py
等待10分钟左右,文件下载完成后如下图:
下面我们开始微调的流程
3.模型微调
3.1数据集准备
要想训练自己的数据,需要准备提问和回答的内容,数据格式为Json,如下是示例:
ADGEN 数据集任务为根据输入(content)生成一段广告词(summary)
{"content": "类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤", "summary": "宽松的阔腿裤这两年真的吸粉不少,明星时尚达人的心头爱。毕竟好穿时尚,谁都能穿出腿长2米的效果宽松的裤腿,当然是遮肉小能手啊。上身随性自然不拘束,面料亲肤舒适贴身体验感棒棒哒。系带部分增加设计看点,还让单品的设计感更强。腿部线条若隐若现的,性感撩人。颜色敲温柔的,与裤子本身所呈现的风格有点反差萌。"}
当然,我们想训练自己的数据时,也可以写脚本将自己内部数据洗成上面的Json格式,对于大批量数据可能需要用到大数据的知识了。
这里为了方便快速看到效果,我们直接用网上已有的数据集进行测试
下载过程如下:
//进入到ptuning目录下cd ChatGLM-6B/ptuning//下载数据集文件wget -O AdvertiseGen.tar.gz https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1//解压数据集tar -xzvf AdvertiseGen.tar.gz
解压后在ptuning/AdvertiseGen
目录下能看到train.json
和dev.json
两个文件,就是数据集了。
3.2修改训练脚本
详细说明可以看官方Github说明ChatGLM官方文档
我们使用train.sh
脚本训练,需要修改2个参数
- model_name_or_path 模型文件路径,修改为
/home/user/data/ChatGLM-6B/chatglm-6b
即刚才下载的模型文件 - per_device_train_batch_size 每台设备训练的批处理大小,这里设成24,因为咱们的显存有24G,充分利用
- gradient_accumulation_steps 修改为2
修改完后,脚本如下:
3.3训练数据
执行下面命令开始训练数据
bash train.sh
训练时间大概4个小时,训练完成后会生成output文件夹,在该文件夹下可看到生成的checkpoint文件夹
3.4推理
小卷毕竟不是专业算法工程师,这一步简单理解验证模型与自己预想的输出结果一致程度。我们这一步进行evaluate过程,修改evaluate.sh
脚本,需要修改的内容如下:
//修改模型路径--model_name_or_path /home/user/data/ChatGLM-6B/chatglm-6b \
然后执行bash evaluate.sh
执行推理脚本,等待1小时后,生成的结果保存在./output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt
3.5使用
我们运行ptuning文件夹下的web_demo.sh
文件,通过网页访问使用模型,脚本文件需要修改模型路径,修改后如下:
PRE_SEQ_LEN=128CUDA_VISIBLE_DEVICES=0 python3 web_demo.py \ --model_name_or_path /home/user/data/ChatGLM-6B/chatglm-6b \ --ptuning_checkpoint output/adgen-chatglm-6b-pt-128-2e-2/checkpoint-3000 \ --pre_seq_len $PRE_SEQ_LEN
修改web_demo.py
文件里的监听IP为0.0.0.0
,端口号改为27777
,方便我们从浏览器访问
修改后的启动代码是
demo.queue().launch(share=True, inbrowser=True, server_port=27777, server_name="0.0.0.0")
如图:
接着命令行执行bash web_demo.sh
开始运行模型,出现http://0.0.0.0:27777
字样的日志说明运行成功
接着回到揽睿星舟的工作空间页面,复制调试地址
后在浏览器打开,就能用我们微调后的模型玩耍了
3.6测试效果
我们输入预先设计的提问,对比微调前后的回答
可以看到微调后的回答,和我们喂给模型的回答是一样的
3.7其他注意
通过上图也可以发现,模型微调后出现了灾难性的遗忘,输入你好
,开始胡言乱语了。
即除了你教它的东西外,它原本的知识已经混乱了。所以微调后的模型只能用于单一的场景了,非常适合知识库问答这种。
4.写在最后
AI技术的发展真是太快了,距离我上次写文才过去一个月,这个月的时间就涌现了各种新东西。AutoGPT、Midjourney、各种ChatGPT相关的课程、文心一言、讯飞大模型、Claude等等。
有微调需求的可以在 公众号卷福同学
内联系
关键词:
【奶奶看了都会】云服务器ChatGLM模型fine-tuning微调,让你拥有自己的知识库|世界动态
京东手机金榜出炉:Redmi K60力压iPhone 14夺冠
韧性回弹 脚感澎湃 361°运动拖鞋63元狂促(门店159元)-实时
真正的国产显卡之光!摩尔线程国产GPU、AI与元宇宙多项进展深入解读
中国铁塔:每天为近百万外卖和快递小哥提供换电充电服务
h2o2摩尔质量_h2o2
抢收同时抢种,河南已完成夏播2340万亩
华擎又出妖板!迷你身材 塞进去128个Arm核心 环球热资讯
多国出现人类偏肺病毒感染 一年1.6万儿童死亡!尚无治疗药物
自我的创建
ASP.NET Core 全局异常处理 世界热资讯
世界热门:(ex)BSGS/(扩展)大步小步算法 学习笔记
机会越来越好-与君周末谈20230604
虚幻5国漫巅峰 《斗罗大陆》比比东成神 巨型镰刀秒杀唐三
甚至没动工!《赛博朋克2077》续作明年才将投入开发 播资讯
我的脸被隐翅虫毁容了!千万小心“会飞的硫酸”
积成电子:预中标1.05亿元国家电网采购项目_世界新消息
全球微资讯!时速133严重车祸 车主:感谢驱逐舰05救我一命 又买了辆比亚迪汉
环球热文:马斯克北京首日晚宴多少钱?22人“吃”掉4.5万元
Web安全-渗透测试-基础知识01 世界播资讯
【天天速看料】Leetcode 1156. 单字符重复子串的最大长度
CPU的功能是什么_cpu的主要功能
网友把苹果封死水里一年 打开后水面飘了一层“巧克力”|每日时讯
PS造假神了!_热点评
读改变未来的九大算法笔记03_纠错码
当前报道:《安富莱嵌入式周报》第314期:微软推出开源DeviceScript编程语言适合低资源单片机,开源色度计,超声波穿戴设备,USB-C交换机,CMSIS
京东太狠:100W数据去重,用distinct还是group by,说说理由? 每日速讯
天天滚动:Spring整合mybatis使用xml配置事务
ChatGPT 国内镜像网站独家汇总:发现最优秀的人工智能对话体验!
小娜再见!微软宣布:Win10、Win11将正式抛弃Cortana 全球热点
观点:不打算修!AMD EPYC Rome服务器芯片运行1044天必定死机
全球量产车最低风阻!昊铂Hyper GT本月上市:能耗比Model 3还低|视点
世界最牛计算机课程变样了:接受AI改造
世界聚焦:Codeforces Round 876 (Div. 2)题解
姑姑拍到侄女做梦吃雪糕:画面分分钟萌翻
今头条!比亚迪突然上调车辆保养价格 部分车型涨幅达50%
【世界快播报】女子考科三系错安全带考官面如死灰:“交杯带”看无奈了
小娜再见!微软宣布:Win10、Win11将正式抛弃Cortana
汽车电动座椅原理_你知道吗|当前时讯
全球今热点:大量安卓用户逃离换iPhone:Android 13保有量不足15%
世界观速讯丨70万买红旗电动车 2年内修10次!车主退车遭拒:已修好无法退
劝学译文翻译_劝学译文
下水10秒即可感染 钻进皮肤体内生长!南京疾控提醒预防血吸虫病
世界简讯:1.2万元拍下单颗荔枝 男子:要送给女友
神速!这类品种再迎新成员,两大公募巨头助阵,对应ETF规模超870亿元_天天报资讯
焦点快看:男子路遇纸片鸟 一查竟是国保动物黄苇鳽:性格机警
QQ音乐豪华绿钻续费价格上调:连续包年158元 你续费吗?
速看:正版cd碟专卖店价格(正版cd碟专卖店)
微控制器实时操作系统实践1实时系统介绍 每日聚焦
全球消息!linux 性能自我学习 ———— cpu 快速定位问题 [六]
苹果语音助手功能将重大升级:Hey Siri成历史
3分钟回顾神十五航天员返回全程:遇上绝美日出朝霞
林峰交往过的女朋友(林峰女朋友)
MES系统初探(一)|世界最资讯
【环球财经】美国总统拜登签署债务上限法案
丰田反对电动车:建议别反对|环球观速讯
平均年龄最大的航天员乘组“落地” 神舟十五号载人飞行任务圆满成功 焦点快播
三星全球首款8K电竞显示器8月上市:用上TCL华星国产高端57英寸屏-世界今日讯
天天日报丨中国战舰果敢拦阻穿越台湾海峡的美国和加拿大海军舰艇
存储价格被国产干碎 大厂密谋涨价:2TB该抄底了
【全球播资讯】最多领1600元!北京发放新一批消费券:手机、电脑等都能用
《蜘蛛侠:纵横宇宙》票房超预期_当前热文
地图的三要素有哪些?_地图的三要素是什么 _3分
俄罗斯呼吁本国iPhone用户彻查手机 存在后门:苹果回应永远不会
【天天聚看点】太空出差186天!神十五乘组返回地球:成功着陆
今年前4个月沈阳市快递业务收入25.67亿元 环球时讯
新能源汽修人才缺口或达80%:汽修学员走出校门就进厂-焦点短讯
环球观焦点:苹果和安卓厂商为何都放弃了小屏市场?幕后原因揭晓
苹果头显来了:难成下一个“iPhone”
4个月卖1751.5亿 彩票盯上年轻人?专家提醒不能靠彩票发财 中奖率低
上海长兴岛房价最新走势_上海长兴岛房价
多彩网安入选第三届贵州省网络安全应急技术支撑单位
世界热讯:智齿是什么意思?_智齿是什么意思
焦点热议:致远的意思解释词语(致远的意思)
焦点速递!3099元起 vivo S17 Pro下周首销:影像比肩高端旗舰
网易云盘的歌怎样分享_网易云盘
环球简讯:神舟十五号载人飞船撤离空间站
每日视点!向安卓看齐!iOS 17下周发:开放第三方应用商店
天天热资讯!一年跌价超95% 只花38元华为P50 Pro秒变5G手机
环球观热点:上海两车“斗气” 致一车骑跨高架栏:专家喊话司机要跳出吃亏思维 吃亏是福
环球动态:高中毕业给朋友的留言(朋友给我留言说1601是什么意思)
LRU缓存与LinkedHashMap源码
天天热文:文心一言 VS 讯飞星火 VS chatgpt (30)-- 算法导论5.2 2题
热点在线丨关于使用openssl命令-同时生成私钥与CSR-Certificate Signing Request的方法记录
高三学生写永久请假条告别班主任:画面催泪
店家回应未开封饮品中有蟑螂:不可能出现蟑螂 全球讯息
全球滚动:注意!高考生这6样东西别发朋友圈
宫崎想乃(关于宫崎想乃介绍)_环球新消息
记录--手把手教你Vue+ECharts+高德地图API实现天气预报数据可视化|当前关注
天天视点!津城高考“最后一课”:喊出自信 留下感动
世界热讯:东风着陆场准备就绪迎接航天员回家 科普:飞船改动越少越安全
天玑之王!vivo X100首发天玑9300:性能对标苹果A17
或信号错误!印度列车相撞事故已致死伤超千人:该国百列火车运行受影响 近乎崩溃_全球微头条
每日快讯!北京西城区举办建筑工地防汛抢险应急救援演练
印度列车相撞事故已致120死超800伤 车头被撞扁:现场惨烈
今日热文:椰树集团首次回应直播风格争议:审美回归、主打真实自然
【天天新要闻】读改变未来的九大算法笔记02_数据库
九八年属什么(中国与十二地支相配以人出生年份的十二种动物)-即时焦点
新动态:当在浏览器中输入百度地址后,发生了什么?(计算机网络篇)
ASP.NET Core优雅的添加HealthCheck_快看点