最新要闻
- 推动戏剧事业高质量发展
- 售价8.99万元起 钇为3全球上市 重新定义纯电A级车|热讯
- 谨防诈骗!男子点30块外卖 结果没了2000元|每日热门
- 实时焦点:Redmi K60系列618杀疯了!全渠道销量破100万台
- 微动态丨女儿考满分农民工父亲买烧鸡庆祝:趁年轻多挣点钱 让孩子能有选择
- 网飞《三体》真人剧集中文预告 明年一月上线
- 天天热推荐:“降息潮”蔓延 “存款特种兵”跨城狂飙
- 焦点关注:祸国电视剧免费观看(祸国电视剧)
- 国产“水果之王”来了!首批国产榴莲6月上市开卖_聚看点
- CPU都要烧掉了!女子景区坐竹筏被汽车撞了 网友:头次见|当前要闻
- 曾经最火SUV!比亚迪宋PLUS冠军版今日上市 买它还是银河L7?
- 小米MIX Fold 3关键规格曝光:首次用上潜望长焦、更耐摔-天天快看点
- 黑龙江首列高端旅游列车“林都号”首发:酒吧、茶室全都有
- 中成股份:6月16日融资买入247.82万元,融资融券余额1.3亿元
- 山村幼儿园计划-阳光专项基金20000_山村幼儿园计划_全球要闻
- 避坑指南 篇六:影帝的大肚腩也拯救不了没落的港片。
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
一文读懂ChatGPT的工作原理:大语言模型是个啥?它到底咋工作的? 环球聚焦
继AI绘画后,ChatGPT横空出世。聊天、翻译、文案、代码……ChatGPT的功能如此强大,以至于连马斯克都认为“我们离强大到危险的AI不远了。”
在感慨ChatGPT如此强大的同时,人们也开始对ChatGPT的工作原理产生了好奇:ChatGPT是什么?它到底是如何运行的?怎样才能丝滑地与它对话呢?想要了解ChatGPT是什么,需要关注它背后的GPT模型。GPT模型是一个由OpenAI 训练的大语言模型。
(相关资料图)
一、大语言模型是什么?
大语言模型(Large Language Model)是指在海量文本数据上训练,通过无监督、半监督或自监督的方式,学习并掌握通用的语言知识和能力的深度神经网络模型。
从下图中,我们不难看出,这些大语言模型的参数计数都是数千亿:
换个容易理解的说法,“读书破万卷,下笔如有神”在一定意义上反映了大语言模型的运作模式。在海量文本数据上训练是读了万亿书籍,吸收了大量的知识,在此基础上就可以按照用户的需求进行回答、创作、总结与分析。
大语言模型在经过特定训练后可以为企业带来意想不到的可能性:
1、减少人工劳动和成本 | 大语言模型能够让企业在发展过程中实现自动化,如顾客服务、内容创作、欺诈检测等,这不仅能够降低人力与时间成本,还能将员工从高重复度的工作中解放出来,从事更需要人类专业知识的重要工作。 |
2、提高客户满意度 | 基于大语言模型的聊天机器人不仅能够为客户提供全天候的服务,还能通过处理大量的数据来了解客户的行为和偏好,从而提供个性化服务。 |
3、提供决策的准确性 | 大语言模型对大量数据的处理,能够让企业迅速从复杂的数据集中提取需求,从而提高运营效率,更快地解决问题,并做出更准确的商业决策。 |
4、提高任务的准确性 | 大型语言模型能够处理大量的数据,这导致预测和分类任务的准确性提高。这些模型利用这些信息来学习模式和关系,这有助于它们做出更好的预测和分组。 |
但我们不得不承认大语言模型同样存在着一些弊端:
1、认知范围有限 | 大语言模型的能力受限于它们的文本训练数据,这意味着它们无法理解训练数据以外的文本,如调休。它极有可能接触到虚假信息、种族、性别和性的偏见等文本训练,这会导致大语言模型产出种族主义或性别歧视的评论。 |
2、输入token有限 | 每个大语言模型的内存是有限的,所以它只能接受一定数量的token作为输入。例如,ChatGPT的限制是4096个(大约3000个词),如果超过这个限定,GPT就无法对输入作出反应。 |
3、系统成本高 | 大型语言模型的开发和训练都需要大量投资,包括计算机系统、人力资本和电力。据估计,ChatGPT10轮的训练,仅电费成本就高达1200万人民币,这并不是随便一个企业能够承担得起的。 |
4、泛化能力弱 | 泛化能力指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出。大语言模型虽然可以在多个任务上表现出色,但是它们也容易受到输入的影响而输出不合理或者错误的内容。 |
在了解了大语言模型后,我们距GPT的工作原理又进了一步。
二、GPT背后的应用逻辑
GPT的全称是“Generative pre-trained transformer”,翻译一下就是“基于Transformer的生成式预训练模型” 。让我们把这些词拆分来看:1)“Generative”
“Generative”指这个模型具备生成自然语言文本的功能。也就是说,这个模型能够生成一段内容,还能让你看懂。比如给它几个关键词,能够通过这些关键词自动生成一段话或者一篇文章。当然,可能有人会说“之前那个狗屁不通生成器也能读,那他们的区别在哪里?”实际上,“狗屁不通(GPBT)”只是一个文本生成器,对文本的连贯性和含义要求并不高;而GPT生成的内容则有着高连贯性和可读性的要求。 所以大家会发现,先不说GPT生成的内容能不能解决实际问题,至少读起来是合情合理的。2)“pre-trained”
“pre-trained”意为“预先训练好的”。一般来讲,在应用这种技术时,会需要先将大量的文本数据输入到模型中训练,让模型在一定程度上掌握了语言的语法规则和表达方式,这个提前输入进行训练的过程就被称为预训练。我们也可以将上述过程简单粗暴地理解为“题海战术”。想想我们在各类学习中,经常通过题海战术对题目类型、考察的基础知识以及逻辑进行深入了解,才能在面对新的题型时,通过调用自己所学的知识交出相对合理的答卷。同样,GPT也是在这种“题海战术”中杀出重围的。3)“transformer”
最后说到“transformer”,这是Google 的研究者在《Attention Is All You Need》中提出的概念,我们可以先将它简单理解为“转换器”。Transformer的基本原理是Encoder(编码)和Decoder(解码),也就是先将输入的内容转换为计算机能理解的内容,再将计算机理解的内容转换为我们人类能理解的内容。但在语言转化的过程中,还会出现一个问题:歧义。我们生活中也会有很多出现歧义的情况,比如“我买了一斤苹果”和“我买了个苹果新产品”。那么问题来了:大家怎么判断这两句中的苹果指的是某种水果还是某个电子设备?答案估计也没啥争议:结合苹果旁边的“一斤”和“新产品”就能确定在不同上下文中的“苹果”代表了什么含义。而GPT能够理解我们输入的内容,关键也在于此。Transformer在编码和解码的基础上,引入了“Multi-headed Attention(多头注意力)”的概念。多头注意力就是为了让模型在处理输入输出的内容时,更关注内容中的某个或某几个词语,并对它们进行加权处理,从而推断其准确含义,实现上下文学习。用一句话总结上面讲的内容,就是“GPT能读懂你说的话了”。既然懂了提问的内容,那接下来GPT又是怎样回答出你想要的答案的呢?前面我们讲了GPT是“预先训练好的”,所以当它理解了你想要什么之后,便会自动选择当下最适合的一个内容,然后不停地再输入、输出,最终生成一段完整、具有高匹配度的内容。例子:请给我描述一个西瓜第一次输入:请给我描述一个西瓜输出:西瓜第二次输入:请给我描述一个西瓜:西瓜输出:西瓜是第三次输入:请给我描述一个西瓜:西瓜是输出:西瓜是一种……第N次输入:……输出:……最终呈现以下内容:GPT就是通过这种不断地“输入-匹配-选择-输出-再输入”的过程,和我们进行问答的交互。而被我们熟知的 ChatGPT则是基于GPT模型调整而成的对话生成模型,在本质上,其工作原理和GPT是相同的。
三、如何让ChatGPT不说废话?
那么,理解了ChatGPT及GPT模型的运行方式,它就能真正为我们所用吗?答案显示是否定的。很多人会抱怨,它的回答很空泛,有时甚至会出错。
当然,人工智能可以理解人类的语言,但可能还不能精准理解人类的目的,所以成功的人机交互才会得到我们想要的答案,也就是说GPT这类模型就像我们的宠物一样,能够听懂我们说的话,但前提是我们需要跟它“好好说话”。
来看一个例子:请介绍一下华山。(PS:本文所有问答,均来自禅道的OpenAI插件:神奇小海螺)
从上面两个图片中可以发现,我们的提示词不同,小海螺给出的回答也不同。那我们应该如何提问?这里引用常青老师总结而成的一个提示词模板(亲测非常有效):(指路公众号:常青说)通过这个技巧,我们现在可以改一下上面的提示词:
“假如你是一名导游,现在你要带一个10人的旅游团前往华山,请给一份华山的讲解词。请注意,因为旅游团中有小朋友,所以讲解词请用生动有趣的内容组织,最好还能加一些故事和例子。”
很明显,这样一问,小海螺就能给出比较符合我们要求的回答。如果还想让它的回答更精准,那就需要继续再补充其他的细节啦。
总之,我们期待着人类对自然语言的处理技术达到一定程度时,这些人工智能的回复质量能带给我们更大的惊喜;在另一方面,对于它们的回答,我们也要有基础的辨别能力。
罗翔老师曾说:“人跟人工智能最大的不同,在于人除了有理性还有感情。我们永远不用担心它会取代我们,因为我们是人,是万物之灵。”所以,我们不仅要把ChatGPT一类的人工智能应用到极致,充分去拥抱它,还要训练自己作为人类原生的、不依赖任何工具的基础能力、思维能力以及创新能力。
关键词:
一文读懂ChatGPT的工作原理:大语言模型是个啥?它到底咋工作的? 环球聚焦
世界动态:MySQL中SQL语句的执行顺序(详细)
海外交友源码平台搭建:基础功能的实现(一)
推动戏剧事业高质量发展
售价8.99万元起 钇为3全球上市 重新定义纯电A级车|热讯
谨防诈骗!男子点30块外卖 结果没了2000元|每日热门
实时焦点:Redmi K60系列618杀疯了!全渠道销量破100万台
微动态丨女儿考满分农民工父亲买烧鸡庆祝:趁年轻多挣点钱 让孩子能有选择
网飞《三体》真人剧集中文预告 明年一月上线
天天热推荐:“降息潮”蔓延 “存款特种兵”跨城狂飙
面向故障处理的可观测性体系建设
Spring Boot 优雅实现多租户架构,so easy~!
焦点关注:祸国电视剧免费观看(祸国电视剧)
国产“水果之王”来了!首批国产榴莲6月上市开卖_聚看点
CPU都要烧掉了!女子景区坐竹筏被汽车撞了 网友:头次见|当前要闻
曾经最火SUV!比亚迪宋PLUS冠军版今日上市 买它还是银河L7?
小米MIX Fold 3关键规格曝光:首次用上潜望长焦、更耐摔-天天快看点
黑龙江首列高端旅游列车“林都号”首发:酒吧、茶室全都有
中成股份:6月16日融资买入247.82万元,融资融券余额1.3亿元
山村幼儿园计划-阳光专项基金20000_山村幼儿园计划_全球要闻
避坑指南 篇六:影帝的大肚腩也拯救不了没落的港片。
精彩看点:“楚才还乡”招才引智推介会在北京举办
氧化铝期货上市在即 从定价和套利中或可觅得交易机会_全球滚动
环球快消息!曲阜万仞宫墙南广场区域实行分时段限行 市民游客注意
宝马被大货车横着推出几百米 女司机以为只能等死 网友:远离货车的重要性
青岛新特产“巧克力大爷”火了 网友感慨还玩手机吗:这身体素质秒年轻人_今亮点
长城汽车总裁:‘放血式’价格战不是长久之计 明年目标净利润72亿元 资讯
环球观速讯丨魅族Flyme Auto首次上车 亮点一览:跟手机一样好用
多只债基提前结束募集 超470亿元资金涌向债市 今日关注
讯息:“财务顾问”被判全额连带赔偿 首例ABS欺诈发行案判决结果出炉
曾被长城举报 比亚迪秦/宋PLUS DM-i大批量OTA升级1.2系统
南京大学才女瞒着家里当主播 竟发现榜一大哥是自己爸爸_快讯
售价超50万元理想MEGA却用18英寸小轮胎 李想揭秘:比20英寸好太多
读发布!设计与部署稳定的分布式系统(第2版)笔记05_层叠
电动摩托开始崛起:传统燃油摩托车要被淘汰?
世界热讯:父亲带12岁女儿休学1年骑行游中国:不让孩子拼文化课 没意义
spring cloud 微服务治理
泰迪踢掉主人长了2年的肾结石 网友:晚饭加鸡腿 每日快播
一个电铃在牛津大学响了180多年:电池成分却至今未知 天天微头条
首尔房价暴跌40%!楼市要崩盘?韩国人纷纷表示很淡定 今日聚焦
全球微头条丨京东618最终战报:就是不说多少钱
环球时讯:魅族618销售额增速第一:同比增长500%
天天短讯!C++基础知识总结
7499元 华硕ROG新款38英寸游戏显示器上架:4K 144Hz高刷屏
北京现代沐飒正式上市:12.18万元起、百公里油耗低至6.86L-全球热闻
【全球独家】银行股迎来回调,不急,我们最不缺的就是时间
董明珠称:全世界只有格力空调不吹人! 环球观察
【Unity3D】法线贴图和凹凸映射 视点
每日讯息!中邮策略:央行降息提振信心 市场有望震荡上行
吃小龙虾戴了手套 为啥还是满手油? 每日快看
天天精选!AMD做了一个201MB缓存的怪物!可惜流产了
今年“6·18”河南消费力全国第八!胡辣汤、洛阳汉服、河南老字号美食全国热卖
k8s 深入篇———— 一些容器操作的原理[三]|报资讯
政治权利名词解释电大 政治权利名词解释 最新资讯
微软确认月初遭DDoS网络攻击:一度导致Microsoft 365服务中断
终末的女武神同人 毗沙门天VS宇智波斑-资讯
249元 雷柏推出VT9S无线鼠标:原相3395引擎、26000 DPI|全球微头条
大四男生实习薪资1万4妈妈仰天大笑 姐姐回应:要在船上写论文 全球聚焦
一箭41星创中国纪录!当天传回超清大图:英格兰一览无余 环球观察
全球热讯:拜耳医药保健有限公司属于哪个国家_拜耳公司是哪个国家
头条焦点:全国大数据与计算智能挑战赛:面向低资源的命名实体识别基线方案,排名13/64
STL vector容器存储键值对
世界滚动:美国加速跌落美债深渊
天天快消息!苹果M2 Ultra首次开盖:Intel 56核心相形见绌
“迈克·马龙,你为什么不买詹姆斯的账?”
环球报道:美团一面:OOM后,JVM一定会退出吗?为什么?
JS(入门)-焦点速读
东土科技:定增募资不超8.75亿元申请获证监会注册批复 环球热文
当前滚动:最便宜折叠手机!moto razr 40开售:3999元起
官方通报“特校校长刘某某强制猥亵残障学生案”
Python调用外部系统命令
【环球报资讯】Python第三方模块:pymongo模块的用法
马斯克:针对智能电视的推特视频应用即将问世 世界快消息
速递!国内首款市域C型动车组亮相:时速达160公里
最新民调:超半数非裔美国人预计美国种族主义会变得更糟 环球报道
500元到5000元 各价位最值得买的10款CPU集合
世界今日报丨独特16:18“方形”比例辨识度拉满:LG推出新款DualUp 28MQ750显示器
演员胡兵50万航司积分被清零引关注 东航客服回应:没办法核实-热门
k8s 深入篇———— docker 镜像是什么[二]
马斯克脑机接口新进展:首例人体植入试验今年开展 环球热资讯
攀升618秒杀:12代酷睿16英寸护眼屏轻薄本仅1999元_全球通讯
天天热资讯!《变形金刚》独占鳌头:2023暑期档票房达15亿元
看了“细菌量” 你还敢给孩子用卷纸来擦嘴吗?_天天快资讯
网飞爆火网剧续作来了!《鱿鱼游戏》第二季官宣:老角色回归|焦点要闻
浦发银行:共湘发展十九载 奋楫扬帆正当时
满血8核+32GB+1TB 机械革命S mini主机到手2929元:办公神器|世界即时看
资讯推荐:上线12年的“QQ安全达人”将下线 网友:你为它装过腾讯电脑管家没?
商职全称是什么 济南商职全称是什么
2023中国高校计算机大数据挑战赛:论文学科分类baseline|清华主办|今日看点
【技术积累】算法中的排序算法【一】
极限科技旗下软件产品 INFINI Easysearch 通过统信 UOS 认证|天天热议
【环球财经】日本为何出现巨额贸易逆差
便宜的瓜不甜?百果园回应女子团购西瓜被嘲讽:是误解 已道歉|全球热闻
京东618发布“35711”梦想:打造3家万亿收入公司 创造100万就业_通讯
演员胡兵向东航维权失败:价值一万多的白金卡50万积分一夜清零
天天快讯:在 Cenntos6.8 下安装 Oracle11g
当前播报:京东限时优惠:Redmi 27英寸4K显示器享大降价
世界头条:人气漫改!网飞真人版《海贼王》预告片出炉:路飞橡胶手无敌
全球车企第一高!马斯克曝特斯拉市值上涨主要动力 今日快看
关注:广州一龙舟队全是富婆?当地:事实 但身价不是参赛门槛