最新要闻
- 水深火热成语接龙_热字开头的成语
- 《巨齿鲨2:深渊》最新预告出炉:杰森·斯坦森、吴京大战海底怪兽
- 双泵水冷力压13900KS 310W功耗!超频三DE360水冷散热器评测:静音水泵也很重要 即时焦点
- 头条焦点:华裔学者出手!50年零进展算法难题被突破
- 不顾国内外强烈反对!日本拟最早8月核污水排海|当前观察
- 环球最资讯丨故宫门票提前7天抢不到 黄牛要价翻6倍!全国博物馆几乎都如此
- 世界简讯:突发!俄军一架战机坠毁
- 【天天速看料】火狐发布115版本更新:支持Win7/8最后版本
- 天天微资讯!女子半夜拍蚊子走出158步吓坏母亲:通过微信步数了解家人起居
- 男孩被锁车内父母心疼玻璃不愿砸 路人做好事反被责怪:网友看怒|热资讯
- 焦点热讯:比亚迪豪掷45亿巴西建三厂:年产15万辆、提供超5000个就业岗位
- 实时:西安饭庄长安礼记糕点礼盒大促:原价69.9 西安19.9包邮
- 【天天时快讯】法国总统马克龙:骚乱顶峰已过去 仍需保持警惕
- 环球快播:胡昌升会见俞敏洪一行
- 宁德时代科学家欧洲拿发明大奖!开发带盖的锂电池降低爆炸风险
- 全球微速讯:中国新能源汽车6月销量达到历史最高水平:比亚迪、特斯拉均创新高
手机
光庭信息跌4.57% 2021上市超募11亿2022扣非降74% 时快讯
搜狐汽车全球快讯 | 大众汽车最新专利曝光:仪表支持拆卸 可用手机、平板替代-环球关注
- 光庭信息跌4.57% 2021上市超募11亿2022扣非降74% 时快讯
- 搜狐汽车全球快讯 | 大众汽车最新专利曝光:仪表支持拆卸 可用手机、平板替代-环球关注
- 视点!美国首位女总统即将诞生?拜登恐怕要提前下岗,美政坛迎来变局?
- 当前速递!用理想仪器实现更好的颗粒 德国新帕泰克亮相CPHI & PMEC China获好评
- 微粒贷怎么申请开通 开通方法如下
- 焦点简讯:心疼!这位40岁的云南缉毒警,已是满头白发
家电
【AI新趋势期刊#2】AI发明计算机算法,如何给大模型排行,照片秒变二维码,视频一键动漫风 速看
前言
每天都要浏览大量AI相关新闻,是不是感到信息量爆炸,有效信息少?
这么多新产品和新工具,到底哪些是真正是有价值的,哪些只是浮躁的一时热点?
(资料图)
想参与AI产品和工具的开发,从哪里能够获得大量的灵感和思路?
我会把AI相关的新趋势、新想法、新思路,和成熟AI产品、工具、模型等整理在这里,帮助大家去除信息噪音,更高效的了解AI前沿发展。
主要围绕:
- AI业界趋势、想法、思路
- AI产品
- AI开发者工具
- AI模型
作为本期刊的第二期,我们主要围绕2023年5-6月发布的相关信息为主,观众朋友们请注意时效性。
想法/思路
大模型训练的材料会耗尽吗?
以下节选自阮一峰科技周刊中阮老师的个人思考,觉得蛮有意思。
现在的新闻报道,天天有 AI 的新闻,里面会提到很多模型。
分辨模型的强弱,有一个关键指标,就是看它有多少个参数。一般来说,参数的数量越多,模型就越强。
GPT-2 有15亿个参数,GPT-3 和 ChatGPT 有1750亿个,GPT-4 没有公布这个指标,据传比上一代大5倍以上。
那么,什么是参数呢?按照我粗浅的理解,参数相当于模型预测时,所依据的神经网络的节点数量。参数越多,就代表了模型所考虑的各种可能性越多,计算量越大,效果越好。
既然参数越多越好,那么参数会无限增长吗?
答案是不会的,因为参数受到训练材料的制约。必需有足够的训练材料,才能计算出这些参数,如果参数无限增长,训练材料势必也要无限增长。
我看到的一种说法是,训练材料至少应该是参数的10倍。举例来说,一个区分猫照片和狗照片的模型,假定有1,000个参数,那么至少应该用10,000张图片来训练。
ChatGPT 有1750亿个参数,那么训练材料最好不少于17500亿个词元(token)。"词元"就是各种单词和符号,以小说《红楼梦》为例,它有788,451字,就算100万个词元。那么, ChatGPT 的训练材料相当于175万本《红楼梦》。
根据报道,ChatGPT 实际上用了 570 GB 的训练材料,来自维基百科、互联网图书馆、Reddit 论坛、推特等等。
大家想一想,更强大的模型需要更多的训练材料,问题是能找到这么多材料吗,会不会材料有一天不够用?
我告诉大家,真的有学者写过论文,研究这个问题。
过去10年来,AI 训练数据集的增长速度远快于全世界的数据存量的增长速度。如果这种趋势继续下去,耗尽数据存量是不可避免的。
论文给出了三个时间点。
- 2026年:用完一般的语言数据
- 2030年~2050年:用完所有的语言数据
- 2030年~2060年:用完所有的视觉数据
也就是说,根据他们的预测,大概三四年后,新的训练材料就会很难找。最迟三十年后,全世界所有材料都不够 AI 的训练。
上图是作者给的趋势图,虚线是训练材料的增长速度,红线和蓝线是模型增长速度的不同预测。到了2035年以后,这三根线就合在一起了,曲线变得越来越平。作者认为,到了那时,由于没有足够的训练材料,AI 模型的发展速度可能就会显著放缓。如果他的预测是正确的,就意味着,跟大家想的不一样,AI 飞速发展不会持续很久。现在也许就是发展最快的阶段,然后就会开始放慢,等到本世纪中叶就会显著放慢,接近停滞,跟量子物理学的现状差不多。
下面的新闻也讨论了该问题,在这里节选片段。
https://m.thepaper.cn/newsDetail_forward_23467960
什么是模型崩溃?
本质上,当 AI 大模型生成的数据最终污染了后续模型的训练集时,就会发生“模型崩溃”。
论文中写道,“模型崩溃指的是一个退化的学习过程,在这个过程中,随着时间的推移,模型开始遗忘不可能发生的事件,因为模型被它自己对现实的投射所毒化。”
一个假设的场景更有助于理解这一问题。机器学习(ML)模型在包含 100 只猫的图片的数据集上进行训练——其中 10 只猫的毛色为蓝色,90 只猫的毛色为黄色。该模型了解到黄猫更普遍,但也表示蓝猫比实际情况偏黄一点,当被要求生成新数据时,会返回一些代表“绿毛色的猫”的结果。随着时间的推移,蓝色毛色的初始特征会在连续的训练周期中逐渐消失,从逐渐变成绿色,最后变成黄色。这种渐进的扭曲和少数数据特征的最终丢失,就是“模型崩溃”。
笔者认为,虽然训练材料耗尽离我们现在还很遥远,不过如果训练所需要的材料一直以指数级增长,而我们现有的材料又没有跟上时,确实有可能会提前碰到这种瓶颈。
OpenAI支持函数调用功能
关于OpenAI的函数调用功能,一个比喻: 以前让OpenAI回答数学题,只能靠催眠(你是数学专家),然后回答,常常答错; 现在让OpenAI回答数学题,同时给他一个计算器(他知道什么时候该用计算器,但是他自己不会用),当他识别出这是数学题时,会把数字吐给你,你自己再用计算器算结果,再把结果和问题扔给他做回答。这也是很多其他新模型会附带的功能,类似模型插件。
优点:准确又智能。结果是你自己的函数计算的,肯定错不了;
快速整理播客笔记
阿里的通义听悟可以快速整理音频的内容,转化为文字。
我们首先需要下载播客音频,将音频导入通义听悟平台,1 个小时的音频大概只需要 5 分钟导入和处理;
通义听悟处理后,自动生成章节和声音转录的文本(能够区分不同说话人),支持文本翻译成中文;
随后可以根据自动生成的章节或关键词快速跳转收听感兴趣的内容,不感兴趣的一律跳过;随时在右侧做笔记;
AI发明计算机算法
https://www.ithome.com/0/698/425.htm
谷歌人工智能部门 DeepMind 宣布,使用 AI 发现了一种新的算法 AlphaDev,把排序速度提高了 70%,细节可以看原文。
模型
如何给大模型排行?
随着大模型研究的流行,非常多模型在市面上大乱斗,也有非常多的模型排行榜。我们该如何科学的对模型进行排名呢?
在模型硬指标上,有以下几个方面需要对比:
- 模型大小
- 训练数据集
- 训练和推理效率
- 应用领域(单模态/多模态等)
- ...
除开硬指标,我在网上了解了一下,目前针对LLM公认的权威排行机构和论文还比较少,比较知名的有LMSYS
https://chat.lmsys.org/
Large Model Systems Organization(LMSYS ORG)是由UC Berkeley与UCSD和CMU合作的学生和教职员工创立的开放研究组织。我们的目标是通过共同开发开放数据集,模型,系统和评估工具来使每个人都可以访问大型模型。我们的工作包括机器学习和系统中的研究。我们培训大型语言模型并使其广泛使用,同时还开发了分布式系统以加速其培训和推理。
国内有一个CLUE排行榜,不过我看了下,感觉有点模仿国外的模型评测GLUE和SuperGLUE的感觉,大家可以参考,但是具体认可度有待观察。
https://github.com/CLUEbenchmark/SuperCLUELYB
文字转音频 Bark
https://github.com/suno-ai/bark
Bark 是由 Suno 创建的基于转换器的文本到音频模型。 Bark 可以生成高度逼真的多语言语音以及其他音频 - 包括音乐、背景噪音和简单的音效。 该模型还可以产生非语言交流,如大笑、叹息和哭泣。 截至6月20号Github已经20k Star。
简单来说,你可以写一段文本,并选择一种语调,给机器朗读。但与此同时,支持:
- 除了英语外,还支持他国语言
- 支持一些非文字的声音,比如清嗓子、大笑、哼哼等
- 通过加上音乐符号♪,让他用唱歌的形式朗读。
- 可以给他输入音频,他会输出模仿声调
- ....(还有很多能力)
支持的语言:
Language | Status |
---|---|
English (en) | ✅ |
German (de) | ✅ |
Spanish (es) | ✅ |
French (fr) | ✅ |
Hindi (hi) | ✅ |
Italian (it) | ✅ |
Japanese (ja) | ✅ |
Korean (ko) | ✅ |
Polish (pl) | ✅ |
Portuguese (pt) | ✅ |
Russian (ru) | ✅ |
Turkish (tr) | ✅ |
Chinese, simplified (zh) | ✅ |
我个人在HuggingFace试用了一下,真的很牛,不过一开始随便试用时候稍有不慎会出现很奇怪的合成音,听起来蛮恐怖。就和使用Stable Diffusion时画出了非人类的头一样...
生物医学领域大模型
LLaVA-Med:面向生物医学领域的大语言模型和视觉模型
微软发布了LLaVA-Med,要做医药领域的GPT-4,支持多模态。可以识别X光片的信息。
Github:https://github.com/microsoft/LLaVA-Med
北京智源研究院LLM Aquila-7B
Aquila-7B:北京智源研究院开放的国产可商用的LLM
支持中英双语知识、支持商用许可协议、符合国内数据合规要求。后续还会发布33B模型。
Github:https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
智源研究院和智谱AI同源,后者目前掌握了GLM系列。目前看后续前者更主要做学术研究,后者主要做商业化。
Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点,Aquila语言大模型是在中英文高质量语料基础上从0开始训练的,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间,获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。
Aquila-7B和Aquila-33B开源模型使用 智源Aquila系列模型许可协议, 原始代码基于Apache Licence 2.0。
王小川 百川LLM
王小川组建的「百川智能」正式推出首个70亿参数中英文LLM——baichuan-7B。国产、开源、免费、可商用。
Github:https://github.com/baichuan-inc/baichuan-7B
产品
金融GPT:FinGPT
https://github.com/AI4Finance-Foundation/FinGPT
作者使用中国金融市场数据和美国金融市场数据,分别用ChatGLM和LLaMA模型,配合Lora训练,做出了FinGPT
能够实现如下应用:
- 智能投顾
- ChatGPT可以像专业人士一样进行投资建议。
- 在这个例子中,苹果的股价上涨与ChatGPT分析新闻的预测相符。
- 量化交易
- 我们还可以使用新闻、社交媒体推文或者公司公告来构建情感因子,右侧的部分是由Twitter推文和ChatGPT信号产生的交易结果,数据来自于一个称为stocknet-dataset的数据集。
- 正如您从图片中所看到的,由ChatGPT生成的交易信号非常出色,我们甚至可以仅通过根据Twitter情感因子交易而获得良好的结果。
- 因此,我们可以通过结合价格因素来获得更好的结果。
- 低代码开发
- 我们可以使用LLMs的帮助来编写代码。
- 右侧显示了我们如何快速高效地开发我们的因子和其他代码。
微软HuggingGPT
https://huggingface.co/spaces/microsoft/HuggingGPT
解决不同领域和模态的AI任务是迈向人工智能的关键一步。虽然现在有大量的AI模型可以用于解决不同的领域和模态的问题,但是它们不能解决复杂的AI问题。由于大模型(LLM)在语言理解、生成、交互和推理上展现出很强的能力,所以作者认为LLM可以充当一个控制器的作用来管理现有的AI模型以解决复杂的AI任务,并且语言可以成为一个通用的接口来启动AI处理这些任务。基于这个想法,作者提出HuggingGPT,一个框架用于连接不同的AI模型来解决AI任务。
具体的步骤是:
- 任务规划:使用ChatGPT来获取用户请求
- 模型选择:根据Hugging Face中的函数描述选择模型,并用选中的模型执行AI任务
- 任务执行:使用第2步选择的模型执行的任务,总结成回答返回给ChatGPT
- 回答生成:使用ChatGPT融合所有模型的推理,生成回答返回给用户
通过ChatGPT的强语言能力和Hugging Face丰富的模型库,HuggingGPT可以解决大部分复杂的AI任务,为走向真正的人工智能奠定基石。
AI知识库
https://albus.org/
我自己试了试,有一个很好的思路。当大家写文章,或者做视频没灵感时,可以现在心里想一个主题,让AIbus开始发散思维,进行简单的头脑风暴。
你可以给他设定文字基调:
可以设定文案的阅读受众,生成对应理解力的语句:
假设我要写一篇关于Java String字符串的介绍的博客,我以Java String为关键词,下图是他为我一步步生成的文案,并且配图也是生成的。
我现在越来越觉得写技术博客越来越是个伪命题,尤其是基础知识相关的博客,就算写出来了也是给AI大模型输送营养。
AI视频换风格
给它一个原始视频,然后选择一种想要的风格,AI帮你自动生成新的风格视频。
我自己也用官方Demo视频试了试,它可以支持在生成后视频的基础上再次微调参数,修改提示词,进行迭代。我生成的效果不是特别理想,应该还需要调整。
工具
Vercel 推出AI SDK
Vercel 是知名的云开发服务商,这次它内置了与OpenAI、LangChain和Hugging Face Inference的协作模块,目的是让开发者专注于产品研发,而不是基础设施搭建。 一个预想不一定对:以后做web AI产品,用Vercel和OpenAI就够了。
https://vercel.com/blog/introducing-the-vercel-ai-sdk
通过SD将二维码变成图像
这个网站教你如何使用 Stable Diffusion,将二维码变成一幅图像。
我觉得这个很有意义,很多地方商家张贴各种二维码真的很丑,如果能够植入商家的宣传图片,比如美食,产品,人像,是真的有用,可以商业化。
https://stable-diffusion-art.com/qr-code/
参考
Meta360创新学院-AGI前夜
https://docs.meta360.vip
Github Trending
https://github.com/trending
关键词:
【AI新趋势期刊#2】AI发明计算机算法,如何给大模型排行,照片秒变二维码,视频一键动漫风 速看
焦点热讯:Java异常分类和常见异常
语音直播源码知识分享:探索新的沟通方式-全球微动态
水深火热成语接龙_热字开头的成语
《巨齿鲨2:深渊》最新预告出炉:杰森·斯坦森、吴京大战海底怪兽
双泵水冷力压13900KS 310W功耗!超频三DE360水冷散热器评测:静音水泵也很重要 即时焦点
头条焦点:华裔学者出手!50年零进展算法难题被突破
不顾国内外强烈反对!日本拟最早8月核污水排海|当前观察
环球最资讯丨故宫门票提前7天抢不到 黄牛要价翻6倍!全国博物馆几乎都如此
全球即时看!还分不清bin log 、redo log 跟 undo log?
全球快讯:前端Vue一款基于canvas的精美商品海报生成组件 根据个性化数据生成商品海报图 长按保存图片
世界简讯:突发!俄军一架战机坠毁
【天天速看料】火狐发布115版本更新:支持Win7/8最后版本
天天微资讯!女子半夜拍蚊子走出158步吓坏母亲:通过微信步数了解家人起居
男孩被锁车内父母心疼玻璃不愿砸 路人做好事反被责怪:网友看怒|热资讯
焦点热讯:比亚迪豪掷45亿巴西建三厂:年产15万辆、提供超5000个就业岗位
实时:西安饭庄长安礼记糕点礼盒大促:原价69.9 西安19.9包邮
【天天时快讯】法国总统马克龙:骚乱顶峰已过去 仍需保持警惕
债市开放新消息:离岸国债期货呼之欲出
环球快播:胡昌升会见俞敏洪一行
宁德时代科学家欧洲拿发明大奖!开发带盖的锂电池降低爆炸风险
全球微速讯:中国新能源汽车6月销量达到历史最高水平:比亚迪、特斯拉均创新高
广东一奥迪车嚣张 逆行还竖中指车主已被查处 大快人心
苹果打鸡血 电池激增!消息称iPhone 15系列存储加大 告别128GB 环球快报
《英雄联盟》LPL夏季赛TT战胜EDG:Uzi复出斩获第七次MVP_环球新动态
多省份上调最低工资标准,安徽等15省份第一档月最低工资超2000元 今日热文
在CentOS 7 mini版中使用ifconfig
世界球精选!年内券商债券承销金额超6万亿元 部分中小券商在不同类型债券承销方面展现出优势
医保谈判药品怎么续约?非独家药品如何竞价?国家医保局公开征求意见 环球快看
成都滴滴公司要注销?官方回应:非运营主体 公司一切正常 世界热门
3999元起口碑超稳!小米13官网评价超100万:99.9%好评率 全球新消息
没人买?RTX 4060大降价 降速让人惊叹:英伟达要出手了
杀入BBA腹地 30多万的比亚迪照样卖爆:腾势N7上市24小时大定11687辆
读发布!设计与部署稳定的分布式系统(第2版)笔记19_基础层之设备 环球讯息
俄外交部:目前没有理由延长黑海港口农产品外运协议-天天观点
重制版或将在今年8月公开,R星已找到作者联系
小米“掐架”华为!发起专利无效请求:到底发生了什么? 热门看点
阿里的AIGC数据库工具: Chat2DB的学习与使用
环球消息!国产汽水 凭啥喝不出一家上市企业
环球热头条丨为什么人类尾巴进化掉了?留下来不行吗?中国科学家新发现
四川惊现“蚊卷风” 大量蚊子聚集5米高?想干嘛?
全球报道:本来想用AI来打败AI:结果惨烈翻车
资讯推荐:深圳市监局回应山姆泡面桶被炒至1999元:没有恶意加价
每日速递:古代20岁到100岁的称呼(20岁到70岁在古代分别叫什么)
行使国家立法权的机关是人民代表大会_全国人民代表大会和行使国家立法权
【天天新视野】ons游戏该死的妹子官方(ons游戏该死的妹子)
文心一言 VS 讯飞星火 VS chatgpt (54)-- 算法导论6.2 6题
卖了一个多月后 RTX 4060 Ti太尴尬了:Steam玩家零人购
速看:你买的手机到底是不是正品?这么一查 全清楚了
16针供电口有毒!RTX 4090配90度拐弯电源线后:照烧不误
每日热门:一天吃透操作系统面试八股文
Linux raid-磁盘阵列-raid10搭建 今头条
热议:做个有出息的女姟_做个有出息的女孩
绝地求生大逃杀什么时候出的?绝地求生大逃杀按什么键说话?
藤蔓的拼音是什么?藤蔓的寓意和象征是什么?
身份证号码代表哪些信息?实名认证身份证号码的正确格式是什么?
iPhone 15全系电池容量曝光!续航稳了:只差一步就5000mAh|每日信息
到三份寿司只要12.9元:剩菜盲盒你会去购买吗? 全球要闻
电信手机积分是怎么来的?电信的手机积分怎么兑换话费?
如果的事原唱是谁?如果的事表达的是什么意思?
知名电动自行车品牌Urtopia推出新品 将ChatGPT融入其中
海南三亚一男子偷偷潜入别墅并喝掉主人的6瓶茅台 家政发现并报警
德国著名网红健身博主“拉丝哥”猝死离世 因硬货较多导致粉丝数量破千万
西安一母女在大雁塔内推开保护罩伸手触摸石刻 遭到网友唾弃
“广东人正式被确诊为依萍”登上热搜 今夏暴雨将增多
导致白癜风复发的因素有哪些呢 世界视点
焦点速递!拍3件39元到手!舒蕾参姜控油防断修护洗发水狂促(78元优惠券)
速看:全新阿尔法·罗密欧朱丽叶上市!售35.98万元起 买它还是宝马3系?
一图看懂iQOO 11S:首发超算独显、顶配1TB 4799元
最强天玑平板!iQOO Pad新配色发布:2399元起步 性能直接拉满-热点聚焦
泰坦号乘客的最后时刻:听音乐沉入海底 官方称比过马路更安全|天天时讯
【当前热闻】架构师常用的设计图
环球今头条!C#百度地图开放平台211sn校验失败解决方法
为什么是我为什么不是我作文指导(为什么是我)
矿难后矿卡公司神转型:3.8万张显卡打包提供AI算力 天天观速讯
“最像人”的机器人学会绘画:Ameca接入GPT-3生成式AI模型|全球快讯
焦点日报:安卓充电卷王 iQOO 11S要普及200W快充:放心用4年
观速讯丨立省231块!361度板鞋男新款休闲鞋大促:69元包邮到手
苹果回应Mac彻底抛弃Intel:给过机会 可处理器真没法用 世界滚动
记录--组件库的 Table 组件表头表体是如何实现同步滚动?|每日时讯
2023容器网络趋势:CNI网络插件逐渐普及,Kube-OVN受欢迎度持续攀升 今日最新
环球微动态丨手机刷了PE类原生系统后的体验
环球即时看!债市日报:7月4日
【聚看点】车评人怒批埃尔法不装防撞梁:一老板出车祸 后排都变形了
00后发明全新上班方式!谁说电动轮椅只适合老年人 天天快播报
比亚迪腾势N7正式上市 售价30.18万起 特斯拉Model Y还香吗
2023果冻行业市场现状分析-天天观速讯
每日消息!java基础之行为抽象
天天热资讯!华为云河图KooMap 共筑数字孪生底座 共建产业标杆
环球看热讯:商品日报(7月4日):纸浆刷新逾两个月新高 双焦走弱焦煤跌近3%
【播资讯】高温之下 导游及游客安全更要上心
大模型中的“罗翔” 北大团队发布法律大模型ChatLaw-天天快资讯
日本核污染水排海符合标准!合法性不受认可:日本被爆贿赂IAEA百万欧元 天天快资讯
【当前热闻】女子推开保护罩让孩子摸文物 管理方:禁止触摸
RTX 4060遇冷:没想到降价这么快、这么狠! 全球讯息
东风雪铁龙公司回应C6拖欠补贴:8月15日前全部退还
全球热推荐:文档在线预览 总结篇
Nftables栈溢出漏洞(CVE-2022-1015)复现
HawkEye产品深受市场认可,与多家行业龙头企业达成合作,共同开拓行业市场
国家气候中心:今年盛夏极端天气气候事件偏多 高温、强降水等来袭_世界资讯