最新要闻
- 世界热消息:谷歌报复性砸出5620亿参数大模型:比ChatGPT更恐怖 学术圈已刷屏
- 【环球播资讯】2月国产游戏出海成绩出炉:《原神》获收入和增长双料冠军
- 有关马的歇后语有哪些?有关马的古诗有哪些?
- 工科理科化现象亟待扭转!曹德旺等科学家企业喊话让学生去工厂一线真问题
- 【世界时快讯】委员喊话农村淘汰、封杀老头乐 网友吵翻:揭秘观点背后让人唏嘘?
- 隐婚男女的结局是什么?隐婚男女演员介绍
- 小学二年级班主任工作计划有哪些?小学二年级家长会发言稿
- 消防逃生的注意事项有哪些?消防逃生演练总结
- 旅游可持续发展的实质是什么?旅游可持续发展论文模板
- 英语六级考试时间安排分配是什么?英语六级考试题型简介
- 世界热头条丨虼蚤的读音是什么_虼蚤
- 描写景色的词语集锦有哪些?描写景色的段落摘抄
- 梁祯元为什么叫南韩贾宝玉?梁祯元为什么是队长?
- 中国相术十二宫都有哪些?相术十二宫实用顺口溜
- 田宅宫在脸上的什么位置?田宅宫代表什么?
- 剑指Notion:微软协作平台Loop即将进入公开预览阶段
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
世界热消息:谷歌报复性砸出5620亿参数大模型:比ChatGPT更恐怖 学术圈已刷屏
为应对新一轮技术竞赛,谷歌还在不断出后手。
这两天,一个名叫PaLM-E的大模型在AI学术圈疯狂刷屏。
【资料图】
它能只需一句话,就让机器人去厨房抽屉里拿薯片。
即便是中途干扰它,它也会坚持执行任务。
PaLM-E拥有5620亿参数,是GPT-3的三倍多,号称史上最大规模视觉语言模型。而它背后的打造团队,正是谷歌和柏林工业大学。
作为一个能处理多模态信息的大模型,它还兼具非常强的逻辑思维。
比如能从一堆图片里,判断出哪个是能滚动的。
还会看图做算数:
有人感慨:
这项工作比ChatGPT离AGI更近一步啊!
而另一边,微软其实也在尝试ChatGPT指挥机器人干活。
这么看,谷歌是凭借PaLM-E一步到位了?
逻辑性更强的大模型
PaLM-E是将PaLM和ViT强强联合。
5620亿的参数量,其实就是如上两个模型参数量相加而来(5400亿+220亿)。
PaLM是谷歌在22年发布的语言大模型,它是Pathways架构训练出来的,能通过“思考过程提示”获得更准确的逻辑推理能力,减少AI生成内容中的错误和胡言乱语。
Pathways是一种稀疏模型架构,是谷歌AI这两年重点发展方向之一,目标就是训练出可执行成千上百种任务的通用模型。
ViT是计算机视觉领域的经典工作了,即Vision Transformer。
两者结合后,PaLM-E可以处理多模态信息。包括:
-语言
-图像
-场景表征
-物体表征
通过加一个编码器,模型可以将图像或传感器数据编码为一系列与语言标记大小相同的向量,将此作为输入用于下一个token预测,进行端到端训练。
具体能力方面,PaLM-E表现出了比较强的逻辑性。
比如给它一张图片,然后让它根据所看到的做出蛋糕。
模型能先判断出图像中都有什么,然后分成9步讲了该如何制作蛋糕,从最初的磕鸡蛋到最后洗碗都包括在内。
有人还调侃说,这机器人怎么在把蛋糕给我前先自己吃了?
还有根据图片做判断:我能在这条路上骑自行车吗?
模型进行一系列逻辑推断:
1、不能进入2、除了自行车3、除了自行车以外都不能进入4、答案是可以
这和人类思考的过程确实很像了。
不仅如此,模型的最强大之处在于,它无需经过预处理,即提前理解环境。
它做出判断和回答,完全是基于它自己的“经验”。
研究人员表示,这项成果表现出了很强的正向迁移(positive transfer)能力。
在多个领域任务的训练中,PaLM-E的表现都优于单项任务机器人模型。
而且他们还发现,语言模型的规模越大,它最终能保持的语言理解能力越强。
比如使用5400亿参数规模的PaLM时,PaLM-E在语言任务上的实际能力仅下降了3.9%。
从实验结果来看,PaLM-E在OK-VQA基准上达到新SOTA。
在模拟环境下的任务完成度也都不错。
再次验证大力出奇迹
目前这项研究已引发非常广泛的讨论。
主要在于以下几个方面:
1、一定程度上验证了“大力出奇迹”2、比ChatGPT更接近AGI?
一方面,作为目前已知的规模最大的视觉语言模型,PaLM-E的表现已经足够惊艳了。
去年,DeepMind也发布过一个通才大模型Gota,在604个不同的任务上接受了训练。
但当时有很多人认为它并不算真正意义上的通用,因为研究无法证明模型在不同任务之间发生了正向迁移。
论文作者表示,这或许是因为模型规模还不够大。
如今,PaLM-E似乎完成了这一论证。
不过也有声音担心,这是不是把卷参数从NLP引到了CV圈?
另一方面,是从大趋势上来看。
有人表示,这项工作看上去要比ChatGPT更接近AGI啊。
的确,用ChatGPT还只是提供文字建议,很多具体动手的事还要自己来。
但PaLM-E属于把大模型能力拉入到具象化层面,AI和物理世界之间的结界要被打破了。
而且这个趋势显然也是大家都在琢磨的,微软前不久也发布了一项非常相似的工作——让ChatGPT指挥机器人。
除此之外,还有很多人表示,这再一次验证了多模态是未来。
不过,这项成果现在只有论文和demo发布,真正能力有待验证。
此外还有人发现,模型驱动的机器人,背后的开发团队在几周前被谷歌一锅端了。。。
所以关于PaLM-E的更多后续,咱们还得再蹲蹲看。
论文地址:https://arxiv.org/abs/2303.03378
关键词:
-
Nginx http 文件服务器 中文名称文件乱码以及不能访问下载问题 (解决全过程)
书接上文:在Windows环境下使用Nginx搭建HTTP文件服务器实现文件下载全步骤(详细)发现的中文乱码问题...
来源: 世界热消息:谷歌报复性砸出5620亿参数大模型:比ChatGPT更恐怖 学术圈已刷屏
【环球播资讯】2月国产游戏出海成绩出炉:《原神》获收入和增长双料冠军
Nginx http 文件服务器 中文名称文件乱码以及不能访问下载问题 (解决全过程)
有关马的歇后语有哪些?有关马的古诗有哪些?
工科理科化现象亟待扭转!曹德旺等科学家企业喊话让学生去工厂一线真问题
【世界时快讯】委员喊话农村淘汰、封杀老头乐 网友吵翻:揭秘观点背后让人唏嘘?
隐婚男女的结局是什么?隐婚男女演员介绍
小学二年级班主任工作计划有哪些?小学二年级家长会发言稿
消防逃生的注意事项有哪些?消防逃生演练总结
旅游可持续发展的实质是什么?旅游可持续发展论文模板
英语六级考试时间安排分配是什么?英语六级考试题型简介
世界热头条丨虼蚤的读音是什么_虼蚤
描写景色的词语集锦有哪些?描写景色的段落摘抄
梁祯元为什么叫南韩贾宝玉?梁祯元为什么是队长?
中国相术十二宫都有哪些?相术十二宫实用顺口溜
田宅宫在脸上的什么位置?田宅宫代表什么?
Linux 上的开源视频字幕应用–Live Captions
全球信息:Win10专业版激活方法
【环球播资讯】kafka常用指令
剑指Notion:微软协作平台Loop即将进入公开预览阶段
当前滚动:又来一个“保时捷” 江汽EV3申报:国内首搭载46系列大圆柱电芯
160g超满足:嘉兴特产蛋黄大肉粽2.9元/只大促
环球播报:从“看不起”到“跟不上”:200多名理想汽车车主分享用车体验
热头条丨《街霸6》新解说员宣传片:日本少女冠军人美声甜!
新消息丨国内“投教第一股”九方财富登陆港股,业绩亮眼,市值逼近80亿
面向状态机编程:复杂业务逻辑应对之道
多光源渲染方案 - Many Lights Sampling
世界微动态丨在java中String类为什么要设计成final?Java面试常见问题
报道:LoadRunner——脚本优化(二)
马斯克要自建“乌托邦小镇”:员工全部搬进去 自己当“镇长”
拒绝投影行业亮度虚标!Vidda官宣三色激光全家桶新品
环球最资讯丨新一轮国内油价将于17日迎来调整:有再度搁浅可能
【环球聚看点】彻底解决“刹车争议”!电商平台上线特斯拉脚部专用记录仪:全程摄像
当前播报:简单到复杂:C#拷贝文件的3种方法
环球热门:对LSTM应用于图像的初步理解
【数论与组合数学 1】数论简介、素数、算数基本定理
JS回调地狱
天天视讯!GTX 1050 Ti就能跑!顽皮狗公布《最后生还者:Part 1》PC版配置要求
世界看点:自称12年驾龄 特斯拉Model X车主在线维权:踩刹车没反应加速撞柱子
天天观察:苹果古典音乐软件已上架:Apple Music会员免费用!中国市场随后推出
当前资讯!明基推出首款48寸OLED电竞显示器:4K 120Hz、90W反向供电
《生化危机4:重制版》PS5版疑似已偷跑 小心剧透啊
世界百事通!illustrator学习心得体会(illustrator序列号)
工厂模式进阶用法,如何动态选择对象?
迷你天猫商城代码审计
焦点简讯:K8S 性能优化 - K8S APIServer 调优
【全球聚看点】Prompt-Engineering-Guide 学习摘要1
前端设计模式——装饰者模式
65寸4K大屏电视不到2000元 LCD白菜价即将结束:3月价格上涨10%
环球微头条丨最强AI再次进化 ChatGPT下周升级GPT-4:支持视频了
【环球聚看点】免费玩!《生化危机4:重制版》体验版上线:不限时、不限次
当前滚动:德国电动空中出租车Lilium jet完成测试:时速250km/h 全机36个电风扇
杀疯了!长安深夜放大招 购车百亿补贴:深蓝SL03直降2.2万
世界快看点丨分享几个常用的运维 shell 脚本
世界观点:佳兆业成今年首家复牌出险房企
全球球精选!一座河南小县城的全球钻石生意爆火:价格不到天然的1/3
我国再次成功发射一箭双星:天绘六号A/B星顺利进入预定轨道
当前快看:资助8年的女生毕业放弃工作 嫁给有钱人成家庭主妇 资助人:失眠好几天
天天通讯!上班族如何备考公务员_如何备考公务员
全球焦点!读Java性能权威指南(第2版)笔记12_堆内存中
怎么处理消息重发的问题?
每日热点:HEU KMS Activator 30.0.0全能系统数字许可激活工具(全新体验纪念版)
环球热议:用盆吃10袋泡面男子火了 回应月薪2万邀约:浇完家里18亩地再说
实时:第127篇:异步函数(async和await)练习题(异步,消息队列)
焦点!【LeetCode回溯算法#05】分割回文串(复习双指针判断回文以及substr函数使用记录)
今日热议:【django-vue】celery延迟任务、定时任务 django中使用celery 秒杀功能 双写一致性 首页轮播图定时更新 课程前端页面
世界热头条丨关于JAVA泛型数组类型擦除引发的问题及解决方案
环球今日讯!Mint安装MySQL
快讯:苹果iPhone 14黄色款预售:全新配色不加价 5999元起
天天微速讯:租客辞职要搬走被房东介绍工作 当事人感动
即时焦点:一辆腾势敢占两个充电桩:真不怕挨揍?
“常温超导”把A股都晃晕了!真要改变我们的生活?
《霍格沃茨之遗》渗人面部Bug:玩家看了起鸡皮疙瘩
全球短讯!美环保署署长:将在今年最终确定甲烷排放规则
21世纪20年代是几几年(21世纪20年代是几几年)
爆肝两万字,详解fastdfs分布式文件系统
初识rollup 打包、配置vue脚手架
世界热议:62.类模板
当前热文:C语言——可变参函数
陕西招聘会现3万月薪岗位学生排长龙 招聘人员:半天收简历150份
当前动态:供不应求!真我GT Neo5 1TB版真香:二手用户也抢着要
“山药成了精”?男子买到奇葩山药外形酷似人脚掌
每日视点!快速读懂Redis分布式锁的实现和原理
美少女三消游戏 《Mirror 2: Project X》开发组宣布破产解散
酒店回应到211大学招服务员:符合流程 面向所有高校毕业生
快看点丨京东CEO徐雷:百亿补贴效果超过预期、要做天天低价
【新要闻】比亚迪加入降价大军!宋Pro DM-i限时优惠:88元折扣6888元
焦点简讯:耳机煲机一般要煲多久_耳机煲机方法是什么?买回来新耳机要怎样煲?耳机要煲多久?
世界热点评!前端如何相对优雅管理api
全球速看:浙四医院官网招聘2021_浙四医院官网
环球观点:京东2022年收入超1万亿:“百亿补贴”会一直有!
简约时尚 健身备一件:361°新款轻薄速干衣39元冲量
越来越卖不动了!最畅销十款数码相机一览:索尼成赢家 第一性价比绝
全球通讯!Intel的大小核CPU架构:最终还是把一些老游戏坑了
往返近1000元!景区回应坐滑竿上山按斤收费:网友力挺明码标价
天天实时:【翻译】发布 .NET 8 Preview 1
前沿资讯!海洋风筝爆火 一周暴涨498%超过秋裤!网友:春天的信号
天天消息!甜香丝滑 旺旺邦德低脂轻乳咖啡官方狂促:合2元一瓶
《银河护卫队3》导演回击网友言论:确定选角不因其是黑人
世界热议:东风系引发车市价格大战!纯电宝马i3终端大促销:最大降幅超10万