快讯：一文带你入门Transformer

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

快讯：一文带你入门Transformer

2022-12-27 22:54:27 来源：博客园

让我们初学一下Transformer，它确实相对难以理解，下面让我们开始吧！朋友们．Don"t worry about it

前提

在这里我们用x表示文本位置→输入

用T_x表示文本长度

用y表示输出的文本位置

用T_y表示输出的文本长度

目前这里有一个文本

X: Harry Potter and hermione granger invented a new spell这里我们用one-hot独热矩阵，每一个文本都会对应于1个one － hot，但是我们一个输入文本就要有一个 one-hot,这样就会造成大量的参数，于是提出了RNN接下来我们学习RNN

RNN模型

(资料图片仅供参考)

这里的Wax､ Waa､ Wya都是参数，就和我们之前学神经网络的W是一个意思下面我们来学习网络的前向传播

向前传播

这里的g是激活函数，b是偏置，我们对式子进行简化，是不是看到式子的时候前面的模型就明白怎么运转的了

反向传播的时候，框架会自动为你实现

上面的模型都是针对T_x=T_y的，当然面对不同的情况会有不同的模型

我们看一下第一个模型

One to many RNN moudle

Cats average 15 hours of sleep a day.

接下来我们讨论RNNs梯度消失的问题。

RNNs梯度消失

如果碰到梯度爆炸的问题就是出现了 Nan,就只用使用gradient clipping.

The cat, which ate already... was full｡我们如何确保让机器认识cat是单数，就是依赖问题,尽管现在依赖问题依旧就没有解决

GRU

这是一个简单的模型，方便理解，这里有两个门，因此我们也称GRU为2门控

LSTM

这里有3个门，因此我们称LSTM为3门控

BRNN

这里是非常重要的，这里没听的话，后面的注意力模型是不容易看懂的！这并不是正，逆传播，而是正反同时开始在时间t输出的y可以同时被过去和未来所影响，对于复杂的问题我们会使用到深度RNNs｡下面我们来看一下注意力模型。

注意力模型

这是注意力的计算公式，我们可以把其想像成一个小的网络

接下来我们学习transformer网络，，最有效前的模型。（其实就是注意力模型+ CNN）

Transformer

自注意力模型

我们将其softmax改变一下

多头注意力机制

其实就是对自注意力机制进行一个for循环

当然每一个通道都有一组参数

Transformer

我们定义一个深度为4的向量

到此我们的Transformer就整理完了，当然这也在不断的完善，随学随记！

努力不一定有回报，但是一定有收获！

关键词：下面我们文本位置神经网络