最新要闻

广告

手机

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

家电

环球热门:对LSTM应用于图像的初步理解

来源:博客园

循环神经网络用来处理序列化数据,因此要使用循环神经网络来处理CV领域的问题,首先要考虑将处理对象转换为序列形式的数据。


(相关资料图)

以MNIST数据集为例,其大小为28*28。将该数据序列化。如果将每一个像素点视作一个单元,则每幅图像可以用一个28*28长度的序列来表示,但这种表示过于粗暴,而且缺少一定的语义信息,处理起来也不容易,因此考虑扩大单元大小。可以考虑按照横向或者纵向进行分片,然后按照一定顺序链接起来形成序列数据。效果如下图所示。不同的切分方式会得到不同的结果,其表示也不同。序列化的数据本来是NLP领域的自然拥有的性质,比如一句话,一首诗等等。要实现NLP到CV的映射,就需要确定映射关系。

这里以RNNs的典型代表,标准形式的LSTM为例,叙述对数据集MNIST进行处理的过程。

在LSTM当中,需要确定time_step(时间步),时间步表征的是时刻长度。在NLP中指定是 一个句子的长度,这个句子的长度就是循环神经网络循环的次数,显然time_step过大,循环神经网络就会出现权重衰退或者权重爆炸等问题。关于time_step的理解:假设我们要训练LSTM,使其能够按照给定的开头创作一首诗。如果我们设置time_step为一个句子的长度,那么LSTM在训练的时候能够学习到一个句子长度以内的上下文的关系,这样我们得到的结果是:单个句子将是有意义的,但整首诗可能是无意义的。因此需要扩大time_step的长度,以整首诗的长度为序列长度,让LSTM能够学习到基于整首诗的上下文关系,这样得到的结果是有意义的。但每首诗的长度可能不同,因此存在一个max_step的问题,可用特定编码来补全。显然LSTM的学习能力越强越有可能出现权重衰退或权重爆炸的问题,因此在实际操作时需要注意。

假定batch_size=4,time_step=28,hidden_szie=50。

time_step=28意味着序列长度为28,意味着每个样本长度为28,意味着要将图片切分为长度是28的序列。对于28*28大小的MNIST来讲,恰好切分。注意,这里对每张图片来讲其被气氛为长度为28的patch,而每个patch的大小是1*28(对应NLP的词向量的维度),这个过程可以看成是重组图片的过程。其中序列长度time_step是指定的,而每个patch的大小不一定,且通常会在其上附加全局信息、局部信息、位置编码等等,用来增强该patch的特征。

hidden_size=50,指的是LSTM隐藏层的维度,LSTM隐藏层用来总结过往信息以便指导当前预测。

这样输入数据为:batch_size * 28 *28——》batch_size * 28 (序列长度time_step)* 28(词向量维度dim)

在pytorch的实现中,一般要转换输入数据的维度位置,将time_step放至第一维度,batch_size放置第二维度。即:batch_size * time_step * dim ——》time_step * batch_size * dim这样做的目的是在存储时将一个batch_size内的各个样本的第一个词(patch)存放至一起,便于读取数据进行批处理。

此时:对每一时刻,LSTM的数据大小为:batch_size * dim = 4 * 28,一共有time_step个时刻,即LSTM会循环time_step次。后续处理则直接使用LSTM最后网络的最后一个时刻的输出即可。

import torch.nn as nnimport torch# 批大小4,时间步28,特征维度28input = torch.randn(4, 28, 28)print(input.shape)# 调转维度,time_step为第一维度,方便处理input = input.permute(1, 0, 2)print(input.shape)
# 双LSTM,输入维度(词向量的大小、特征维度)28,输出维度(隐藏层的大小)100,单层rnn_bid = nn.LSTM(28, 100, bidirectional=True)# 单LSTMrnn_sig = nn.LSTM(28, 100, bidirectional=False)"""双LSTM有两个隐藏层(正反隐藏层),第一维度是隐藏层数量,第二维度是批大小,即一个时间步内处理的数据数量(batch_size)。第三维度是输出特征维度,即隐藏层维度。"""h_bid = torch.randn(2, 4, 100) # 初始化双LSTM隐藏层状态。h_sig = torch.randn(1, 4, 100) # 初始化单LSTM隐藏层状态。"""候选记忆单元的大小与隐藏层大小一致。"""c_bid = torch.randn(2, 4, 100)c_sig = torch.randn(1, 4, 100)# 执行双LSTM。output_bid, (hn_bid, cn_bid) = rnn_bid(input, (h_bid, c_bid))print("output_bid.shape", output_bid.shape)print("hn_bid.shape", hn_bid.shape)print("cn_bid.shape", cn_bid.shape)

输出层的大小为28*4*200。28指的是时间步长度,LSTM的长度(或是LSTM循环的次数),一个时间步输出的词的个数。4指的是批大小。200指的是隐变量的维度。这里是双LSTM,因此扩充了2倍。真实隐变量的维度是指定的100。下述的单LSTM得到的输出维度是双LSTM的一半,为指定的100。

# 执行单LSTM。output_sig, (hn_sig, cn_sig) = rnn_sig(input, (h_sig, c_sig))print("output_sig.shape", output_sig.shape)print("hn_sig.shape", hn_sig.shape)print("cn_sig.shape", cn_sig.shape)
# 打印双LSTM权重信息print(rnn_bid.weight_hh_l0.shape)print(rnn_bid.weight_ih_l0.shape)print(rnn_bid.bias_hh_l0.shape)print(rnn_bid.bias_ih_l0.shape)print(rnn_bid.weight_hh_l0_reverse.shape)print(rnn_bid.weight_ih_l0_reverse.shape)print(rnn_bid.bias_hh_l0_reverse.shape)print(rnn_bid.bias_ih_l0.shape)

这里所有的权重的横向维度应该是hidden_size=100,但由于具体实现的原因,将遗忘门、输出门、输入门、候选记忆单元的权重矩阵进行了拼接,因此是原先的4倍。

# 打印单LSTM权重信息print(rnn_sig.weight_hh_l0.shape)print(rnn_sig.weight_ih_l0.shape)print(rnn_sig.bias_hh_l0.shape)print(rnn_sig.bias_ih_l0.shape)

pytorch实现LSTM时,会将计算输入门、输出门、遗忘门、候选记忆单元的权重矩阵进行拼接,也就是在计算h隐变量时:原本为hidden_size * hidden_size大小的权重矩阵变为 4*hidden_size * hidden_size大小。在计算输入时:原本为hidden_size * input_size变为4 * hidden_size * input_size。

这里的input_size就是NLP中词向量的维度,也是CV中patch的特征维度,为了使用NLP的方法,CV中需要对图片进行切片,将其转换为序列数据进行处理,这种转换需要按照一定的规则进行,排列也需要一定的顺序,这样可利用NLP可处理序列化数据的特性。切分的过程就是重组图片的过程,time_step是NLP中每个句子的长度,每个句子的长度可能不一,可使用特殊编码词补全。这里time_step转换到CV就是将图片切分的块数。而句子中每个词的词向量的长度就是表征这个词的特征向量的长度,这个特征向量通过编码得到,这个概念转换到CV中就是每个patch的特征向量,在CV中,每个patch中特征向量的成分是关键,一般这种特征需要包含局部信息和全局信息,以此来尽可能的表征该patch的属性,从而方便的用于各种目的。

关键词: