最新要闻
- 换皮系统实锤了?Win11曝出Win8老版本残留
- 新动态:被观众喷爆!《埃及艳后》成网飞评价最差剧集之一
- 今日热讯:1032km续航全球量产车第一!极氪001千里续航套装版开启交付
- 天天快消息!世卫组织建议勿用非糖甜味剂控制体重:会导致2型糖尿病、甚至死亡
- 苹果Siri即将大升级!体验巨变|全球简讯
- 博主每天都在纠结选小米13 Pro还是13 Ultra!雷军给出答案
- 世界最新:美国“悔棋翻盘”破坏多边经贸秩序——起底美国贸易战反智本质述评之三
- 头条:中秋节快乐贺词简短四字_中秋节快乐贺词
- 弯道超车?无需光刻工艺的处理器来了:成本暴降
- 重大突破!全国首例心脏不停跳人工心脏植入:患者恢复良好-世界视点
- 每日报道:21人合买 中2574万彩票摊主已转让摊位:4万就转手
- iQOO Neo8系列将支持Wi-Fi 7:峰值速率高达3.6Gbps 焦点信息
- 网传迪士尼乐园将落户成都 官方回应:暂未收到选址情况 世界时讯
- 抓好消防安全 保高质量发展_热点
- 风靡全球20年 “最美奔驰轿车”CLS宣布停产_讯息
- 电源撑得住吗?AMD CPU功耗未来将达600W 比Intel还高100W 视讯
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
微资讯!浅析AIGC for MMKG
摘要:AIGC和多模态知识图谱(MMKG)中的知识获取又是怎么实现的呢?他们之间有什么关联呢?
本文分享自华为云社区《GPT-4发布,AIGC时代的多模态还能走多远?系列之四 AIGC for MMKG》,作者:码上开花_Lancer。
与传统知识图谱不同,MMKG以多模态数据作为源头,从多方面描述实体和关系,构建出一个可以跨越多模态的知识体系。在MMKG中,多模态数据不仅仅作为文字符号实体的关联属性存在,还可以作为图谱中的实体存在,可与现有实体发生广泛关联。 MMKG的优势在于它能够消除多模态数据的异构性,将它们有机地结合在一起,使得系统能够实现对多模态数据的更加全面和深入的理解。AIGC(生成式AI)可以利用多模态知识图谱中的信息来生成新的内容。例如AIGC(生成式AI)可以根据MMKG的文本和图像信息,生成描述某个实体或者概念的新文本、图像或视频。这种结合可以提高生成内容的质量和准确性,所以多模态知识图谱提供了丰富的上下文信息,有助于生成式AI更好的理解和描述目标内容。那么,AIGC和多模态知识图谱(MMKG)中的知识获取又是怎么实现的呢?他们之间有什么关联呢?
01 大模型知识抽取:利用Prompt机制来获得多模态大模型中富含的知识
大型预训练模型的兴起,知识知识获取已经成为当前自然语言处理领域的热门话题。利用大模型的知识抽取方法可以帮助我们更好地探索和利用多模态大模型中丰富的知识资源。 在知识抽取的过程中,Prompt机制被广泛应用。它通过给模型提供一些输入提示,来引导模型生成对应的输出序列。这种方法不仅可以在文本方面得到很好的应用,也可以在多模态知识获取方面产生卓越的效果。例如,在图像描述生成领域,我们可以将关键词或者句子作为prompt输入,用以指导模型生成适当的图像描述。
(资料图片仅供参考)
与此类似的,利用Prompt机制可以让模型以更优秀的方式使用多模态知识。通过针对特定场景和任务设计的Prompt,模型能够更精准地理解和应用多模态知识,从而提高知识的知识获取效率。这种方法的优点在于它可以帮助模型理解多模态数据之间的相互关系,并引导模型实现跨模态知识表示和推理。 利用Prompt机制进行多模态抽取是一种非常有效的方法,可以显著提高多模态大模型的知识利用效率。同时,这种方法还可以帮助我们更好地理解和应用不同类型的知识,从而推动自然语言处理技术的发展。未来,我们可以进一步优化Prompt机制的设计,以适应更多样化的知识抽取需求,实现更高效、准确和全面的多模态知识获取。
(以上图片来自网络)
02 AIGC为知识获取降本增效:零样本、少样本、开放知识获取
随着自然语言处理技术的不断发展和完善,知识获取的效率和成本问题逐渐受到人们的关注。在这个背景下,AIGC作为知识获取方面的重要研究方向,受到了越来越多的关注和重视。 在实际应用中,难免会遇到数据量不足的情况,这时候零样本或者少样本学习就显得尤为重要。通过使用大模型进行辅助,可以有效提升模型对于零样本或少样本的学习能力,从而降低对于数据量的依赖性,大幅提升知识抽取的效率。同时,在多模态知识的获取过程中,大模型也表现出了非常出色的表现。它可以将不同模态的数据进行关联推理,从而帮助我们更好地获取跨模态知识,提高知识抽取的全局性和准确性。 此外,开放知识获取也是目前研究的热点之一。传统的知识获取方法需要大量的人工参与,成本高昂且效率低下。而通过利用大模型进行知识获取,则可以极大地减少人工成本,提高知识获取的效率和准确度。这使得开放知识获取变得更加容易,为知识抽取的自动化、高效化奠定了基础 。
(以上图片来自网络)
03 AIGC为知识获取降本增效:显著增强垂域多模态知识获取能力
如何更加高效地获取和利用知识已经成为了自然语言处理领域中的一个非常重要的问题,在这个过程中,AIGC(增强智能领域)技术正发挥着重要的作用,通过降低知识获取的成本、提高获取效率等方面的优化,使得多模态知识获取能力显著增强。
其中,GPT-4和ChatPDF等大型预训练模型已经表现出了非常强大的领域知识抽取能力,特别是在基于多模态文档抽取方面有着出色的表现。这些模型能够通过深度学习等技术,从海量的文本和图像中快速筛选和抽取有用的信息,并进行分类、归纳等操作,为用户提供精准、有效的知识支持。
(以上图片来自网络)
04 AIGC助图谱设计一臂之力:辅助Schema半自动化设计
大模型在部分领域上拥有领域常识知识,可以辅助完成Schema的半自动化设计,AIGC为知识推理保驾护航:辅助知识图谱(KG)表示学习与知识图谱(KG)补全,AIGC为知识融合扫清障碍:辅助Scheme融合与实体对齐。
(以上图文来自网络)
05利用大模型的泛化能力和海量知识,可以辅助完成多模态知识图谱融合
在知识推理方面,AIGC技术可以辅助KG表示学习和KG补全。基于大模型的强大自然语言处理能力和海量知识的支持,AIGC技术可以从各个文档、图像和视频中快速抽取有用信息,并自动填充到知识图谱中,从而提高知识图谱的完备性和准确性,并支持更加深层次的知识推理。
(以上图文引用来自http://arxiv.org/abs/2206.14268和http://arxiv.org/abs/2212.05767)
其次,在知识融合方面,AIGC技术也可以帮助我们进行Scheme融合和实体对齐。通过大模型的泛化能力和领域常识知识,AIGC技术可以自动进行Schema匹配和实体对齐,并解决知识图谱中的冗余、不一致等问题,从而实现知识融合的自动化和高效化。
最后,利用大模型的泛化能力和海量知识,我们还可以辅助完成多模态知识图谱的融合。在这一过程中,AIGC技术可以利用多种数据源和多种表达形式,如文本、图像和声音等,来构建更加全面和丰富的多模态知识图谱,并支持多模态知识的推理和应用。 除了上述提到的应用场景,AIGC技术还可以在其他领域中发挥重要作用。例如,在医疗、金融和物联网等领域,AIGC技术可以帮助企业和机构更好地了解和管理自己的业务和流程,从而提高生产效率和服务质量。 在医疗领域,AIGC技术可以协助医生进行病例诊断和治疗方案设计。通过分析大量的临床数据和病例信息,AIGC技术可以自动生成病例分类、药品推荐、治疗方案等智能化输出,从而帮助医生更加准确地诊断疾病和制定治疗计划,并提高治疗效果。 在金融领域,AIGC技术可以辅助企业进行风险评估和投资决策。通过分析市场数据、企业财报和行业趋势等信息,AIGC技术可以提供智能化的投资建议和风险预警,从而帮助企业和投资者做出更加准确的投资决策,并降低投资风险。 在物联网领域,AIGC技术可以帮助企业更好地管理和监测设备状态和数据流。通过连接各种传感器和智能设备,AIGC技术可以实现数据采集、处理和分析,并通过自动化控制和预测性维护等手段,提高设备利用率和效率,降低生产成本和机器故障率。
总之,AIGC技术的应用使得知识推理和融合变得更加高效、精准和自动化,从而大大提高了多模态知识图谱(MMKG)的实用性和应用价值。通过生成式AI技术,也可以自动化地从大量的数据中提取和整合多模态知识图谱(MMKG)信息,形成结构化的知识表示,提高多模态知识图谱(MMKG)的构建效率,丰富多模态知识图谱(MMKG)的内容,进一步推动知识表示和处理领域的发展。未来,我们可以进一步探索多模态知识图谱(MMKG)和拓展AIGC技术的应用场景,开发更加丰富和智能的知识服务和应用,为人类知识创造和创新提供更加强有力的支持。
参考:
部分内容参考来自复旦大学教授李直旭《AIGC时代的多模态知识工程思考与展望》
论文:《Google’s PaLM-E is a generalist robot brain that takes commands》
《X. Zhu, Z. Li et. al. Multi-Modal Knowledge Graph Construction and Application: A Survey, Accepted by TKDE in Dec. 2022
http://arxiv.org/abs/2206.14268和http://arxiv.org/abs/2212.05767
点击关注,第一时间了解华为云新鲜技术~
关键词:
微资讯!浅析AIGC for MMKG
全球球精选!C++ | const修饰的变量
焦点快播:谈谈Spring IOC容器的注入方式
换皮系统实锤了?Win11曝出Win8老版本残留
新动态:被观众喷爆!《埃及艳后》成网飞评价最差剧集之一
今日热讯:1032km续航全球量产车第一!极氪001千里续航套装版开启交付
天天快消息!世卫组织建议勿用非糖甜味剂控制体重:会导致2型糖尿病、甚至死亡
苹果Siri即将大升级!体验巨变|全球简讯
博主每天都在纠结选小米13 Pro还是13 Ultra!雷军给出答案
世界最新:美国“悔棋翻盘”破坏多边经贸秩序——起底美国贸易战反智本质述评之三
全球快看点丨统计学习方法笔记-感知机学习方法
今日热文:易基因:多组学关联分析及组学分子实验验证方法(表观组+转录组+微生物组)|干货系列
AHB2APB bridge IP使用
头条:中秋节快乐贺词简短四字_中秋节快乐贺词
弯道超车?无需光刻工艺的处理器来了:成本暴降
重大突破!全国首例心脏不停跳人工心脏植入:患者恢复良好-世界视点
每日报道:21人合买 中2574万彩票摊主已转让摊位:4万就转手
iQOO Neo8系列将支持Wi-Fi 7:峰值速率高达3.6Gbps 焦点信息
网传迪士尼乐园将落户成都 官方回应:暂未收到选址情况 世界时讯
抓好消防安全 保高质量发展_热点
@Getter cheated me
关于忘记kubernetes-master节点的token以及让新node节点加入k8s集群的命令的处理方法
风靡全球20年 “最美奔驰轿车”CLS宣布停产_讯息
电源撑得住吗?AMD CPU功耗未来将达600W 比Intel还高100W 视讯
广东河源2023年1月自考延期考试成绩查询时间:5月11日15时
C#异步方法async/await的三种返回类型
PhotoShop的平替: GIMP
雪榕生物:雪榕源已于2023年第一季度推出产品,具体您可以通过抖音“雪榕膳食旗舰店”详细了解
准点下班被辞退仲裁胜诉 当事人:为讨领导开心的无效加班真没必要
用上“最黑的黑” 比亚迪汉DM-p战神版实拍:3.7秒加速的性能怪兽 世界热门
热点聚焦:喝的人越来越少!星巴克中国最贵单品更换原料但不官宣 网友炮轰降本不降价
国产Chiplet小芯片工艺稳定量产 国际客户4nm工艺产品已出货 焦点日报
微软690亿美元收购动视暴雪交易获欧盟批准
阿里云数据库ClickHouse产品和技术解读
高效联调,可靠发布!华为云推出CodeArts Release发布管理服务
玩转Zabbix智能告警:降噪、排班、认领、升级、IM协同
机器学习服务语音合成,解锁智能养娃新趋势|速看
注册会计师报考费用2023
【新要闻】年轻人越来越吃不起鸭脖?女子武汉坐高铁满车人都在啃鸭脖 直言被馋哭
出海国产手游战绩:米哈游超腾讯 《原神》第一、《崩坏:星穹铁道》第七 天天快看点
管住嘴果然有用!科学家:保持饥饿感或可延缓衰老 每日时讯
世界观点:国产电动车反攻欧洲 法国急忙出手限制:砍掉3.8万元补贴
迪卡侬双11促销虚标原价被罚!网友大赞:消费者苦假促销久矣-每日头条
史上最全 Activiti 学习教程,一文搞定最强工作流引擎! 天天快消息
可观测性三支柱?远不止此!|全球快播报
每日观察!Linux-特殊权限设置(SUID、SGID、SBIT)
智能补全音源损失!索尼蓝牙耳机暴降130元
“北向互换通”上线 人民币国际化再提速-资讯
国家统计局:4月份社会消费品零售总额同比增长18.4%
当前时讯:罕见!抗阿尔茨海默病“第二人”出现
速降35℃!黑鲨冰封散热背夹3 Pro预售 首销199元_当前热议
世界今日讯!4000元档良心所在 Redmi Book 14处理器公布:45W标压12代酷睿
16GB大内存稳了!iQOO Neo8 Pro官宣搭载性能铁三角 最资讯
世界新动态:就看这款了!蔚来全新ES6上市定档:“高端中型SUV天花板”登场
蔚来起诉网红索赔500万!公关总监:绝不姑息造谣、污蔑行为
尘埃歌词我的爱像尘埃在线试听 尘埃歌词我的爱像尘埃
pg_enterprise_views安装及使用
JS中的偏函数
虚拟机网络配置_全球资讯
天天即时看!华东医药:5月15日融资买入1046.79万元,融资融券余额9.64亿元
暴汗燃脂!腾讯首款体感健身应用《舞动极光》发布:手机+电视就能玩
速读:一键开盖 耐热抗摔:哈尔斯Tritan材质单手开盖水杯14.9元发车
《王者荣耀》第四款敦煌皮肤、八周年限定皮肤都来了_环球热门
多地气温超36℃ 今夏还会“热哭”吗?专家称没有去年热 今日热闻
技术不成熟 无人驾驶汽车在旧金山“疯狂搞事”:还拦不住-快消息
时讯:国家网信办:集中清理仿冒新闻单位、新闻主播账号10.7万个
狂神说ngnix笔记(附md文件下载链接)
前沿资讯!Upstart (UPST.US)向私人信贷商店Castlelake出售40亿美元消费分期贷款 股价涨超20%
今晚油价或迎年内“最大跌幅”!95号汽油有望回归7元时代
天天热门:当事人回应10万元买8套房:是特列但房价确实便宜 我买房只看价格
当前快报:50TB仅398元!国产小龙盘升级:新增联网模式AI聊天
张艺谋《满江红》最终票房45.44亿 位列中国影史第6位
焦点简讯:中银香港完成首批“北向互换通”交易
【读财报】科创板一季度业绩速览:近七成公司实现盈利 机械、通信等行业表现突出 今日聚焦
天天看点:我市统计承诺实践创新获评国家优秀案例
每日观察!俞敏洪:中国的农村不能凋敝 不能让农民打理农村
云南13亩小岛1元起拍引关注:网友直呼可以当岛主了
32岁女生相亲角因条件高被男子怼哭 上海有房、5万彩礼:网友吵翻
观速讯丨中国影史第10!《流浪地球2》最终票房40.29亿 打破34项影史纪录
环球信息:国产新SSD发布:基于RISC-V架构 全面兼容国产自研系统、处理器平台
学系统集成项目管理工程师(中项)系列22a_信息化知识(上)
2022年01月06日最新发布:索尼Xperia1II5G售价1199欧元
广东情侣住酒店凌晨被人开门闯入 服务员记错房间号:网友直呼可怕
当前焦点!骨灰级技术大牛左耳朵耗子(陈皓)突发心梗离世。
基于Arduino和ESP8266的JSON数据获取与解压之和风天气-全球快讯
Cryptohack wp (GENERAL篇)|世界热消息
使用策略模式重构 if/elseif/elseif
电磁炉辐射范围多少米_电磁炉对孕妇有辐射吗
外卖平台热销榜第一店铺环境简陋:画面斑驳不堪
环球今日报丨终极能源!盖茨、贝索斯押注的可控核聚变:中国公司跟进了
【独家焦点】丰田要给纯电车装手动挡!我看它是真急了
老外上网课最喜欢用的电脑 现在却变成了电子垃圾
高温来袭!北方30℃以上范围连成一片|全球焦点
今日快看!中国东方教育(00667.HK):5月15日南向资金增持4.35万股
焦点观察:作为这家数码潮牌的孵化人,我们真心想推荐一下这个产品
惠普打印机弹出用户使用第三方墨盒警告 称对硬件性能造成威胁
《霍格沃茨之遗》登顶PS4 Fami通日本实体游戏销量榜现已公布
电影《流浪地球2》5月15日结束公映 累计总票房高达40.29亿
网传北京软星技术团队解散 宇峻奥汀游戏制作人谢宗辉回应
报道显示小龙虾价格一路走低 从此前的20元每斤爆降到10元每斤