最新要闻
- 伤寒论视频讲座 1一70全集郝万山(伤寒)
- 猴痘可能使人短期毁容:多地多人确诊 如何避免感染猴痘病毒?
- 世卫认定的超级致癌物黄曲霉菌!科普:比砒霜毒68倍、你身边就有
- 总投资约306亿元 南阳105个项目纳入2023年全省卫生健康“三个一批”项目
- 男子人肉占车位 雷克萨斯直接倒车撞 网友:解气但不提倡
- 49db智能降噪!iQOO TWS 1评测:戴上它 整个世界都安静了
- 被污名化太久!腾讯张立军:游戏强力推动芯片、AI等技术发展
- 2999元智商税“圾皇” 买完要被朋友嘲笑两年半
- 近期,四大生肖事业连走上坡路,收入节节高升,财运亨通
- 把充电速度带入“5G时代” 理想纯电车型搭载5C电池:不到十分钟续航400km
- iPad mini唯一对手!新款联想拯救者Y700性能确认:搭载骁龙8+
- 李玟演唱《战歌》竟成绝唱 《斗罗大陆2》动画片头缅怀
- 都不买英伟达难受了:RTX 4080大降价 首次跌破1000美元!降到多少你会买?
- 我国新能源汽车达1620万辆 仅汽车保有量1/20 增长潜力巨大
- 男生考上985研究生辞掉车企上万月薪工作:父母很支持
- 比亚迪汉同门兄弟!海豹DM-i要来了:20万级大杀四方
手机
英国房地产因利率上升陷入困境 房价正以2011年来最快速度下跌
宁夏评选出上半年10名“宁夏好人” 95后消防员因敬业奉献入选
- 英国房地产因利率上升陷入困境 房价正以2011年来最快速度下跌
- 宁夏评选出上半年10名“宁夏好人” 95后消防员因敬业奉献入选
- 离婚时共同债务应该怎么处理?
- 华为云盘古大模型3.0正式发布
- 支持自动长文生成,WPS AI发布:基于大语言模型的智能办公助手
- 《街头霸王6》全球总销量突破200万份 卡普空再次为其玩家送上礼物
家电
常用的注意力机制模块(SE、CBAM)
【深度学习】总目录
SE论文:《Squeeze-and-Excitation Networks》将重点放在了通道(channel)关系上,并提出了一种新的结构单元SE block。将SE block堆叠在一起,就形成了SENet。SE块略微增加计算成本但显著地提升了性能,并且即插即用。SENet获得了最后一届ImageNet 2017竞赛分类任务的冠军。
CBAM论文:《Convolutional Block Attention Module》论文(2018年)提出了一种轻量的注意力模块CBAM,可以在通道和空间维度上进行 Attention 。
(资料图片)
1 SE模块
卷积神经网络建立在卷积运算的基础上,通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力,许多现有的工作通过在空间维度上对网络的性能进行了提升,比如Inception模块中嵌入多尺度处理来提高准确度,Spatial Transformer Networks(STN)结合空间注意力机制。本文与这些方法相反,专注于通道,并提出了一种新颖的架构单元“Squeeze-and-Excitation”(SE)模块,通过显式地建模通道之间的相互依赖关系,自适应地重新校准通道式的特征响应。具体来说,就是通过学习的方式来自动获取每个通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。
Squeeze-and-Excitation Module
给定一个输入x,其特征通道数为c1,通过一系列卷积等一般变换后得到一个特征通道数为c2的特征。接下来通过SE模块的三个操作来重标定前面得到的特征:
1)Squeeze(压缩)。沿着空间维度压缩特征,将每个通道的二维的特征变成一个实数,可以理解为对每个 channel 的特征信息的进行融合,这个实数某种程度上具有全局的感受野,并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布,而且使得靠近输入的层也可以获得全局的感受野,这一点在很多任务中都是非常有用。采用全局平局池化来实现,输出维度为1x1xC。
2)Excitation(激励)。得到Squeeze的1x1xC全局特征后,通过全连接层对每个通道的重要性进行预测。它是一个类似于循环神经网络中门的机制。通过参数来为每个特征通道生成权重,其中参数被学习用来显式地建模特征通道间的相关性。为了减少通道个数从而降低计算量,设置了缩放参数SERatio。第一个全连接层有C*SERatio个神经元,输入为1×1×C,输出1×1×C×SERadio,起到降维作用。 第二个全连接层有C个神经元,输入为1×1×C×SERadio,输出为1×1×C。3)Scale(缩放)。将Excitation的输出的权重看做是经过特征选择后的每个特征通道的重要性,然后通过乘法逐通道加权到先前的特征上,完成在通道维度上的对原始特征的重标定。
SE模块的代码实现(pytorch)
from torch import nnclass SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x)
2CBAM模块
CBAM(Convolutional Block Attention Module)是一种轻量的注意力模块,给定一个中间特征图,我们的模块会沿着两个独立的维度(通道和空间)依次推断注意力图,然后将注意力图乘以输入特征图以进行自适应特征修饰。 由于CBAM是轻量级的通用模块,因此可以以可忽略的开销将其无缝集成到任何CNN架构中,并且可以与基础CNN一起进行端到端训练。论文在 ResNet 和 MobileNet 等经典结构上添加了 CBAM 模块并进行对比分析,同时也进行了可视化,发现 CBAM 更关注识别目标物体,这也使得 CBAM 具有更好的解释性。
2.1 Channel Attention Module(CAM)
通道上的Attention模块以及具体计算如下图所示:
将输入的特征图F(H×W×C)分别经过global max pooling(全局最大池化)和global average pooling(全局平均池化),得到两个1×1×C的特征图,接着,再将它们分别送入一个两层的神经网络(MLP),第一层神经元个数为 C/r(r为减少率),激活函数为 Relu,第二层神经元个数为 C,这个两层的神经网络是共享的。而后,将MLP输出的特征进行基于element-wise的加和操作,再经过sigmoid激活操作,生成最终的channel attention feature,即M_c。最后,将M_c和输入特征图F做element-wise乘法操作,生成Spatial attention模块需要的输入特征。
实验:AvgPool & MaxPool
在channel attention中,表1对于pooling的使用进行了实验对比,发现avg & max的并行池化的效果要更好。这里也有可能是池化丢失的信息太多,avg&max的并行连接方式比单一的池化丢失的信息更少,所以效果会更好一点。
2.2Spatial Attention Module(SAM)
空间上的Attention模块以及具体计算如下图所示:
将Channel attention模块输出的特征图F’作为本模块的输入特征图。首先做一个基于channel的global max pooling 和global average pooling,得到两个H×W×1 的特征图,然后将这2个特征图基于channel做concat操作(通道拼接)。然后经过一个7×7卷积(7×7比3×3效果要好)操作,降维为1个channel,即H×W×1。再经过sigmoid生成spatial attention feature,即M_s。最后将该feature和该模块的输入feature做乘法,得到最终生成的特征。
实验:Comparison of different spatial attention methods
使用channel-pooling(沿着通道维度进行平均和最大池化)的同时,使用大kernel size=7效果最好。
2.3 CAM和SAM的组合形式
通道注意力和空间注意力这两个模块能够以并行或者串行顺序的方式组合在一块儿,关于通道和空间上的串行顺序和并行作者进行了实验对比,发现先通道再空间的结果会稍微好一点。具体实验结果如下:
从表中可以看出,在ResNet50的基准架构上,两个attetnion子模块的连接顺序里面的确是channel + spatial的要更好一些,也要好于标准的SENet的通道attention。
3 Grad-CAM可视化
论文:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization博客:Grad-CAM简介
利用 Grad-CAM 对不一样的网络进行可视化后,能够发现,引入 CBAM 后,特征覆盖到了待识别物体的更多部位,而且最终判别物体的几率也更高,这代表注意力机制的确让网络学会了关注重点信息。
参考
1.SENet概览
2.SE (Squeeze Excitation)模块
3.经典论文-SeNet论文及实践
4.注意机制(CBAM)理解
5.Grad-CAM简介关键词:
常用的注意力机制模块(SE、CBAM)
伤寒论视频讲座 1一70全集郝万山(伤寒)
猴痘可能使人短期毁容:多地多人确诊 如何避免感染猴痘病毒?
世卫认定的超级致癌物黄曲霉菌!科普:比砒霜毒68倍、你身边就有
从零用python flask框架写一个简易的网站
Python多任务教程:进程、线程、协程
python中zeros函数和ones函数的详细用法
总投资约306亿元 南阳105个项目纳入2023年全省卫生健康“三个一批”项目
男子人肉占车位 雷克萨斯直接倒车撞 网友:解气但不提倡
49db智能降噪!iQOO TWS 1评测:戴上它 整个世界都安静了
被污名化太久!腾讯张立军:游戏强力推动芯片、AI等技术发展
2999元智商税“圾皇” 买完要被朋友嘲笑两年半
[初等数论]欧几里得算法:最大公因数/公因式求解算法的数学证明与程序实现
子/次模 (Submodular)、超模 (Supermodular)和模(Modular)函数
近期,四大生肖事业连走上坡路,收入节节高升,财运亨通
把充电速度带入“5G时代” 理想纯电车型搭载5C电池:不到十分钟续航400km
iPad mini唯一对手!新款联想拯救者Y700性能确认:搭载骁龙8+
李玟演唱《战歌》竟成绝唱 《斗罗大陆2》动画片头缅怀
都不买英伟达难受了:RTX 4080大降价 首次跌破1000美元!降到多少你会买?
我国新能源汽车达1620万辆 仅汽车保有量1/20 增长潜力巨大
苏州新建元控股集团董事长叶晓敏:未来REITs板块的表现依然值得期待
男生考上985研究生辞掉车企上万月薪工作:父母很支持
比亚迪汉同门兄弟!海豹DM-i要来了:20万级大杀四方
续航90公里 宝马发布全新电动摩托车CE 02:最高车速95km/h
潼关县两馆一中心预计今年12月建成
P1223 排队接水
打击乐器都有什么(打击乐器有哪些)
女子无人区遇乞食狼下车投喂 浑身瘦骨嶙峋感觉没危险:网友吐槽无知
夫妇中3亿7年后各自和新人住豪宅 网友唏嘘:果然有钱可以摧毁婚姻
上半年车市观察:几家欢喜几家愁,修炼内功迎“出海”
宝马隆重推出宝驴
杭州亚运会门票线上正式开售!购买教程出炉:官网、支付宝均可
联合国秘书长希望黑海港口农产品外运协议得以维持
中泰证券:7、8月企业排产已提升至积极 H2空调有望在低预期之下延续高增
炒菜给孕妇吃,能放什么调味料?
玉泉区昭君路街道开展“人人讲安全 个个会应急”安全生产月活动
德国5月工业产出意外下降 经济复苏前景再蒙阴霾
崇明这里,垃圾分类有了“新助手”
恒玄科技:上半年公司下游各个领域的客户需求都有所恢复
广东高考录取日程公布!7月16日开始本科批次录取
美国5月份贸易逆差达690亿美元 自俄进口商品服务月增1.3倍
茀莱堡口腔医院地址|南京种植牙价格表2023
英国房地产因利率上升陷入困境 房价正以2011年来最快速度下跌
群众转移、房屋清淤、重建选址……重庆强降雨后做了这些事
23深投02、22润置09、22润置12今日成交额位居交易所信用(非金)债券榜前三
这一天,我们不敢忘,也不能忘!
靠“抄作业”上市成功,曾经的“福建首富”,也难逃“退市”?
京源环保:7月6日公司高管季献华减持公司股份合计112.63万股
大连“科技创新+试点应用”打造普惠金融新体验
全国首列!徐州地铁3号线二期电客车亮相!
【全球市场晚报】7月7日
追光丨冬奥场馆的夏日玩法,你不想来吗?
满口种植牙多少钱[南京专业种植牙医院]茀莱堡口腔医院怎么样
文县临江镇欧家坝村灌溉渠道维修工程中标公示
一级造价师管理考试及答案一级造价工程师管理考试时间
阿斯巴甜致癌争议不休 健康减糖还能吃什么?
马斯克回应垄断火箭发射市场:SpaceX的使命是让生命多行星化
老鹰乐队告别演出
拒绝恶性竞争!比亚迪、特斯拉、蔚小理等约定不打价格战
富豪为对抗衰老上午11点后断食:曾跟17岁儿子换血 45岁拥有28岁的皮肤
Redmi Note 12 Pro宣布降价500元:8+128GB到手价1399元
40℃以上!郑州市继续发布高温红色预警信号
深圳市尚艺品工艺品有限公司销售不合格产品案
维科技术(600152):7月7日北向资金减持95.08万股
红警ol如何退出联盟 红警OL退出联盟方法
甘肃武威一公司广告词含“送领导”被罚2万?官方:属实
民科 关于民科介绍
宁夏评选出上半年10名“宁夏好人” 95后消防员因敬业奉献入选
水冷炉壁 关于水冷炉壁介绍
“不知香臭”竟是罕见病 南漳姐妹花喜迎“好孕”
金融助力农村新业态发展
最高人民检察院依法对付忠伟决定逮捕
忻州:通过竣工验收!
《逆水寒手游》废村探秘宝箱开启玩法
中指研究院发布《2023上半年中国房地产市场总结&下半年趋势展望》
商汤灭夏有证据吗 商汤灭夏的时间
通行能力怎么计算 通行能力
Win11关闭自动播放功能操作教程
华为的宏图是成为下一个十年最伟大的软件公司?
董事长周炜涉嫌行贿被留置细节披露,卫宁健康曾卷入医院行贿案
FDL发布2023年H1全球食品饮料趋势,解析4大创新机会点
新中式越来越流行,这样穿太高级了!
高中化学一轮考点最全总结,高考化学石油的考点,高考化学关于煤的题型
给力!206.7亿元,多个项目成功签约!
化敌为友!利马转发与芒特冲突照:现在我们是朋友了
中国配电箱行业现状与发展趋势及前景预测2023
利欧股份:部分董事及高管拟减持不超0.09%股份
金石滩纳帕总部基地正式开园
大学生毕业医疗保险怎么交?如何办理?
学生保险怎么查询是哪个公司的?有一些什么好处?
平安养老险贵州分公司开展“7.8保险 宣传日健步行”活动
已发"红包"近千亿!上半年基金分红很阔绰,这家公司最豪
寒武纪-U领跌超7%,科创芯片ETF华安(588290)震荡回调,连续2日吸金合计超3亿元
左边给骨斗罗画个龙,右边画一道彩虹,这才是骨化神龙该有的样子
离婚时共同债务应该怎么处理?
华为云盘古大模型3.0正式发布
联想昭阳k26内存更换视频(联想昭阳k26)
支持自动长文生成,WPS AI发布:基于大语言模型的智能办公助手
山西基本养老服务清单发布
永新光学属于ai眼镜概念股吗?(2023/7/7)