最新要闻
- 美国CPI进入下行趋势 黄金期货继续维持震荡 全球快看点
- 李想:很多友商那仨瓜俩枣的销量有啥可干的|天天速讯
- 男子熬夜喝冰镇饮料被送进ICU 医生从血里抽出一袋油脂:超标200倍 全球看点
- 环球讯息:西安现最牛司机 车尾标语3月撞7次!奔驰大G、奥迪都被撞过
- 世界新消息丨美国发布临时禁令:微软收购动视暴雪再次受阻
- 天津两处居民楼爆炸,致3死多伤!嫌疑人被抓获,作案工具是_环球新资讯
- 入侵无线App盗用户资料 40岁男子被捕|观察
- 天天时讯:有无眉毛哪个更好看?哪吒CEO:“去掉眉毛”的哪吒GT将上市
- 携程梁建章建议:生三胎每月给五六千 给到18岁为止 速讯
- 15英寸MacBook Air首销破发!渠道价比官网便宜1000多|全球速看
- 新能源重卡 为何终将颠覆燃油重卡?
- 华为开发者大会2023早鸟票开售 498元起-全球最资讯
- 速讯:注意!绿心环线多路段将进行抓拍
- 演唱会买到“柱子票”,可以有更好的解决办法 全球要闻
- PCIe 6.0还没用上:PCIe 7.0这就来了!x16速度高达512GB/s-世界滚动
- 175W功耗释放稳压64℃!铭瑄RTX 4060 Ti iCraft OC8G瑷珈显卡评测:二次元秀肌肉-环球观天下
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
【全球时快讯】深度学习应用篇-元学习[13]:元学习概念、学习期、工作原理、模型分类等
# 深度学习应用篇-元学习[13]:元学习概念、学习期、工作原理、模型分类等
1.元学习概述
1.1元学习概念
元学习 (Meta-Learning) 通常被理解为“学会学习 (Learning-to-Learn)”,指的是在多个学习阶段改进学习算法的过程。在基础学习过程中,内部(或下层/基础)学习算法解决由数据集和目标定义的任务。在元学习过程中,外部(或上层/元)算法更新内部学习算法,使其学习的模型改进外部目标。因此,元学习的核心想法是学习一个先验知识 (prior)。
1.2 元学习含义
元学习的含义有两层,第一层是让机器学会学习,使其具备分析和解决问题的能力,机器通过完成任务获取经验,提高完成任务的能力;第二层是让机器学习模型可以更好地泛化到新领域中,从而完成差异很大的新任务。
Few-Shot Learning 是 Meta-Learning 在监督学习领域的应用。在 Meta-training 阶段,将数据集分解为不同的任务,去学习类别变化的情况下模型的泛化能力。在 Meta-testing 阶段,面对全新的类别,不需要变动已有的模型,只需要通过一部或者少数几步训练,就可以完成需求。
【资料图】
1.3 元学习单位
元学习的基本单元是任务,任务结构如图1所示。元训练集 (Meta-Training Data)、元验证集 (Meta-Validation Data) 和元测试集 (Meta-Testing Data) 都是由抽样任务组成的任务集合。元训练集和元验证集中的任务用来训练元学习模型,元测试集中的任务用来衡量元学习模型完成任务的效果。
在元学习中,之前学习的任务称为元训练任务 (meta-train task),遇到的新任务称为元测试任务 (meta-test task)。每个任务都有自己的训练集和测试集,内部的训练集和测试集一般称为支持集 (Support Set) 和查询集 (Query Set)。支持集又是一个 N-Way K-Shot 问题,即有 N 个类别,每个类有 K 个样例。
图1 任务结构。
1.4 基学习器和元学习器
元学习本质上是层次优化问题 (双层优化问题 Bilevel Optimization Problem),其中一个优化问题嵌套在另一个优化问题中。外部优化问题和内部优化问题通常分别称为上层优化问题和下层优化问题,如图2所示的MAML。
图2 双层优化元学习 MAML。
两层优化问题涉及两个参与器:
- 上层的参与者是元学习器,
- 下层的参与者是基学习器。元学习器的最优决策依赖于基学习器的反应,基学习器自身会优化自己内部的决策。这两个层次有各自不同的目标函数、约束条件和决策变量。基学习器和元学习器的作用对象及功能如图3所示。
图3 基学习器和元学习器。元学习器总结任务经验进行任务之间的共性学习,同时指导基学习器对新任务进行特性学习。
1.4.1 基学习器
基学习器 (Base-Learner),是基础层中的模型,每次训练基础学习器时,考虑的是单个任务上的数据集,其基本功能如下:
在单个任务上训练模型,学习任务特性,找到规律,回答任务需要解决的问题。
从元学习器获取对完成单个任务有帮助的经验,包括初始模型和初始参数等。
使用单个任务中的训练数据集,构建合适的目标函数,设计需要求解的优化问题,从初始模型和初始参数开始进行迭代更新。
在单个任务上训练完成后,将训练的模型和参数都反馈给元学习器。
1.4.2 元学习器
元学习器 (Meta-Learner),是元层中的模型,对所有任务上的训练经验进行归纳总结。每次训练基础学习器后,元学习器都会综合新的经验,更新元学习器中的参数,其基本功能如下:
综合多个任务上基学习器训练的结果。
对多个任务的共性进行归纳,在新任务上进行快速准确的推理,并且将推理输送给基学习器,作为初始模型和初始参数值,或者是其他可以加速基学习器训练的参数。
指引基学习器的最优行为或探索某个特定的新任务。
提取任务上与模型和训练相关的特征。
1.5 元学习工作原理
元学习的主要目的是寻找元学习器 $F$,在 $F$ 的指导下基学习器 $f$ 在支持集 (support set) $D^{\mathrm{tr}}$ 的作用下经过几步微调就可以得到适应当前新任务的最优状态 $f^{}$。而 $F$ 的优化需要当前所有任务损失的累计和,即 $\nabla\sum_{n=1}^{N} l \left( f_{n}^{}, D_{n}^{\mathrm{te}} \right)$。元学习工作原理如图4所示。
图4 元学习工作原理。
1.5.1 元学习训练过程
以分类任务为例,元学习中 N-Way K-Shot 问题的具体训练过程:
首先提供一个 few-shot 的数据集,该数据集一般包含了很多的类别,每个类别中又包含了很多个样本。对训练集进行划分,随机选出若干类别作为训练集,剩余类别作为测试集。
meta-train 阶段:
在训练集中随机抽取 N 个类,每个类 K 个样本,为支持集 (support set),剩余样本为查询集 (query set);support set 和 query set 构成一个 task。
每次采样一个 task 进行训练,称为一个 episode;一次性选取若干个 task,构成一个 batch;
一次 meta-train 可以训练多个 batch;
遍历所有 batch 后完成训练。
meta-test 阶段:
在测试集中随机抽取 N 个类别,每个类别 K 个样本,作为 train set,剩余样本作为 test set。
用 support set 来 fine-tune 模型;
用 test set 来测试模型(这里的 test set 就是真正希望模型能够用于分类的数据)。
上述训练过程中,每次训练 (episode) 都会采样得到不同 task,所以总体来看,训练包含了不同的类别组合,这种机制使得模型学会不同 task 中的共性部分,比如如何提取重要特征及比较样本相似等,忘掉 task 中 task 相关部分。通过这种学习机制学到的模型,在面对新的未见过的 task 时,也能较好地进行分类。
1.6 元学习关键
元学习的关键在于发现不同问题之间的普适规律,通过推广普适规律解决末知难题。普适规律需要达到对问题共性和特性表示力的均衡。普适规律的寻找主要依赖于以下几点:
发现已经解决的问题和新问题之间联系密切的部分,提取已经解决的问题的普适规律,用于新问题的解决;
将新问题分解,化繁为简,在已经解决的问题中找到与新问题各个子任务联系紧密的普适规律,以及这些规律的适用范围;
在新问题中学习推理逻辑,使用推理逻辑来对新问题进行表示,在这些表示中寻找规律,通过新问题自身各个部分之间的推理逻辑,找到解决新问题的办法。
1.7 元学习分类
基于优化的元学习:如 MAML, Reptile, LEO, ...
基于度量的元学习:如 SNAIL, RN, PN, MN, ...
基于模型的元学习:如 Learning to learn, Meta-learner LSTM, ...
更多优质内容请关注公重号:汀丶人工智能
关键词:
【全球时快讯】深度学习应用篇-元学习[13]:元学习概念、学习期、工作原理、模型分类等
直播app源码技术之直播间内消息发送与接收的实现-世界今日讯
真实案例:Feign 切换 okhttp 无法生效,被老大骂的有点慌!
美国CPI进入下行趋势 黄金期货继续维持震荡 全球快看点
李想:很多友商那仨瓜俩枣的销量有啥可干的|天天速讯
男子熬夜喝冰镇饮料被送进ICU 医生从血里抽出一袋油脂:超标200倍 全球看点
环球讯息:西安现最牛司机 车尾标语3月撞7次!奔驰大G、奥迪都被撞过
世界新消息丨美国发布临时禁令:微软收购动视暴雪再次受阻
天津两处居民楼爆炸,致3死多伤!嫌疑人被抓获,作案工具是_环球新资讯
Canvas_绘制线段、圆形、文本、图像、视频、处理图像数据
【项目管理解决方案】上海道宁与Synami帮助您统一所有项目级别的信息,并使所有人轻松访问
Zabbix“专家坐诊”第195期问答汇总_当前看点
XenServer 7 GUI 虚拟机(VM)上的屏幕分辨率怎么提高? 环球简讯
入侵无线App盗用户资料 40岁男子被捕|观察
天天时讯:有无眉毛哪个更好看?哪吒CEO:“去掉眉毛”的哪吒GT将上市
携程梁建章建议:生三胎每月给五六千 给到18岁为止 速讯
15英寸MacBook Air首销破发!渠道价比官网便宜1000多|全球速看
新能源重卡 为何终将颠覆燃油重卡?
华为开发者大会2023早鸟票开售 498元起-全球最资讯
速讯:注意!绿心环线多路段将进行抓拍
MySQL性能分析及工具使用_今日热讯
演唱会买到“柱子票”,可以有更好的解决办法 全球要闻
PCIe 6.0还没用上:PCIe 7.0这就来了!x16速度高达512GB/s-世界滚动
175W功耗释放稳压64℃!铭瑄RTX 4060 Ti iCraft OC8G瑷珈显卡评测:二次元秀肌肉-环球观天下
为保护迎客松不让当地用户买木头、绿植?黄山回应
颠覆物理学!美国院士称复现室温超导 这还是骗局?
关注: 信用卡逾期停息挂账申请有什么条件?网贷逾期有什么影响?_当前热点
融创优化强制可转债方案 境外债重组方案获约近九成债权人支持
【读财报】游戏ETF透视:华夏基金规模、业绩领跑 华泰柏瑞、浦银安盛基金份额萎缩
南京十四所招聘官网_南京十四所_天天快资讯
20余省已公布高考查分时间:集中在6月下旬
卖1万多的15英寸MacBook Air 256GB SSD性能降级:不如上代
far away from home mp3下载百度网盘_far away from home歌词 天天短讯
95号汽油进入7元时代:国内油价接下来或还有降价空间!_天天信息
迷信进口屏幕电视:买回家发现大错特错了
HangFire进阶 当前资讯
ASP.NET Core MVC 从入门到精通之鉴权授权基础|今日最新
再也不用担心变量类型错误!学会JS中如何轻松检查变量类型_世界快看
武则天《升仙太子碑》 行草入碑敢为人先
中国特供显卡炒到20多万 英伟达赚麻了:有公司抢购70亿元订单-即时焦点
全球热头条丨大学期末划重点堪比发布会现场 学生举手机拍照 网友:很真实
科幻神作!三部《阿凡达》续集宣布推迟上映:第3部定档2025年
观天下!1152MB三级缓存天下无敌!AMD正式发布EPYC 9084X:96核心Zen4
突然!漫威多部新片宣布延期:《复仇者联盟5》《复仇者联盟6》再跳票1年_每日时讯
6月13日基金净值:信澳鑫安债券(LOF)最新净值1.009,跌0.1%
全球热点评!26岁零70天 Uzi成为LPL历史出场最年长的ADC选手
日本试运行核污染水排海设备 放射性物质将蔓延至全球海域
一男子挤痘后流血近1个小时 整个过程花费400抽面巾
梅西直播被吐槽上热搜前排 画面仅有一分钟引发大量网友不满
国产动漫《斗罗大陆2》即将开播 新史莱克七怪徐三石PV公布
埃兹拉·米勒出席《闪电侠》好莱坞活动 为官司缠身后的首次公开露面
云南金平县迎来蝴蝶集中羽化期 漫天飞舞犹如纷飞的落叶
辽宁一男子拔倒刺导致手指发炎感染 诊断为化脓性肉芽肿并缝了6针
为应对严重的黄牛倒卖问题 宝可梦社宣布新卡组将采用预购制
《碟中谍7》中国内地定档7月14日正式上映 汤姆·克鲁斯惊喜回归
海外最大论坛网站Reddit遭网友怒怼 或使第三方应用无法访问该服务
MySql的MVCC机制
.NET 使用ILPack组件将程序集保存成dll 世界球精选
蔚来全系降价3万!未必心甘情愿 但又无可奈何:被大众收购才是出路?
4990元起!雅迪冠能探索E10发布:2000W电机、极速62Km/h 最资讯
欠薪过亿!时隔两月 宝能汽车总部又被“堵门”_每日视讯
《守望2》新付费PVE让玩家不爽:暴雪你还有脸要钱呢? 热头条
李想:并没把国内友商放在眼里 理想的目标是干BBA
现代C++学习指南-方向篇|焦点速读
文心一言 VS 讯飞星火 VS chatgpt (40)-- 算法导论5.4 4题|天天快播
天天快资讯:澳科大领衔的研究团队开发出新型人工智能医疗诊断模型
M2 Ultra加持!苹果新款Mac Studio评测:5万元的恐怖生产力
当前速看:马斯克称人类已经是半机器人:大脑思维上传服务器可永生
世界热讯:Arm发布全新智能视觉参考设计 首次整合第三方IP核心
“上四休三”的老板后悔了 有员工选择混:这制度对国人不适合? 环球快消息
央行下调常备借贷便利利率
MySQL索引
OnceCell和OnceLock的介绍-每日时讯
公开反对电动汽车后:丰田低头了
云南金平迎来蝴蝶大爆发:近亿只集中羽化 犹如纷飞落叶-世界观焦点
支持电视端:爱奇艺白金会员年卡+京东PLUS会员年卡248元
世界观点:SK-II回应神仙水是否有核污染:符合国家标准
每日报道:12代及以上CPU性能更强了!Intel为Linux开发新调度补丁
张轩昊丨操作思路分享【6月13日】今日黄金原油操作建议,实盘交易干货分享!
焦点速看:用纯HTML,JS,CSS实现横向滚动标签页
CSS常用属性
腾势N7盲订破2万台 增换购用户55%来自BBA等豪华品牌
世界短讯!特斯拉充电标准一天内被四家公司接受 网友:马始皇?
学习Win12好榜样?国产OS系统deepin成立AI社区:未来更智能_世界热头条
69元 小米车载充电器特惠开售:100W快充 配有炫彩灯效 时讯
环球热讯:历史性变革 大众汽车计划进行数十年来最大规模重组
年仅52岁!知名男演员在睡梦中去世... 今日热讯
国内第四大运营商 中国广电终于支持携号转网:但只入不出
刚考完科目一就买车上路 男子:想提前预习科目二、科目三
还说5G没用?全国5G平均下行速率348Mbps 比4G快6倍
环球视讯!被动散热靠谱么?博主实测15英寸MacBook Air性能表现
【新要闻】蔚来号召员工为车主献血 称“伙伴们都在积极报名”
焦点速讯:洛阳老城区:拆违治乱顺民意
【快播报】Collections类源码初探
天天微资讯!2023油价调整窗口时间表一览
马斯克 一统海外充电江湖!
新增自动拍摄功能:尼康Z9获4.00版本固件更新
90后小伙中1000万大奖 淡定回应先去上个班:不着急领
看热讯:阵容强大!长城汽车17位高管集体入驻微博:吉利副总裁盛赞
史低价!小米米家无线洗地机2开启618预售:仅1799元-当前视点