Deep Learning

Transformer 模型

深度学习

Posted by 月月鸟 on February 16, 2022

Transformer模型是一种基于注意力机制的深度学习模型，由Vaswani等人在2017年提出。Transformer模型在自然语言处理（NLP）领域中取得了巨大的成功，特别是在机器翻译、文本生成等任务中表现优异。它的核心思想是通过自注意力（Self-Attention）机制来捕捉输入序列中的依赖关系，解决了RNN（循环神经网络）和LSTM（长短期记忆网络）难以并行化和处理长距离依赖的问题。

1. Transformer模型的架构

Transformer 是一种深度学习模型，最初由 Vaswani 等人在 2017 年的论文 “Attention is All You Need” 中提出。它主要用于自然语言处理任务，但因其强大的性能，现在被广泛应用于许多机器学习领域，如图像识别、语音处理等。Transformer模型的架构主要由编码器（Encoder）和解码器（Decoder）两部分组成。

1.1. Self-Attention 机制（自注意力机制）

Transformer 模型的架构主要基于一种称为 “Self-Attention” 的机制，它消除了传统循环神经网络（RNN）和卷积神经网络（CNN）的局限，允许并行处理数据。这使得 Transformer 在处理大规模数据时更为高效。自注意力机制（Self-Attention Mechanism）是Transformer模型的核心组件，主要用来捕捉输入序列中各个词之间的关系，从而理解句子的全局信息。它能够动态地为序列中的每个词分配与其他词的权重，进而生成更加上下文相关的表示。

1.1.1. 输入表示

假设输入序列为一个由 (n) 个词组成的序列，每个词用一个固定长度为 (d_{model}) 的向量表示。我们将输入表示为矩阵 (X \in \mathbb{R}^{n \times d_{model}})，其中 (n) 是序列的长度，(d_{model}) 是词向量的维度。

1.1.2. 线性变换：生成 Query、Key 和 Value

在自注意力机制中，输入序列中的每个词都需要生成三组向量，分别是：

  • Query（查询向量） (Q)
  • Key（键向量） (K)
  • Value（值向量） (V)

这些向量是通过三个不同的权重矩阵 (W_Q)、(W_K)、(W_V) 对输入序列 (X) 进行线性变换得到的：

[ Q = X W_Q, \quad K = X W_K, \quad V = X W_V ]

其中，(W_Q)、(W_K)、(W_V) 的尺寸分别是 (d_{model} \times d_{k})、(d_{model} \times d_{k})、(d_{model} \times d_{v})，而 (d_k) 和 (d_v) 通常取较小的值以控制计算复杂度。

1.1.3. 计算注意力得分

对于输入序列中的每个词，Query向量 (Q_i) 与所有其他词的Key向量 (K_j) 进行点积，计算它们之间的相似性得分（即注意力权重）。注意力得分可以理解为Query与Key之间的匹配程度：

[ \text{Attention Score}(Q_i, K_j) = Q_i \cdot K_j ]

为了稳定梯度并避免数值问题，通常将这些得分除以一个缩放因子 (\sqrt{d_k})（这被称为缩放点积注意力机制）：

[ \text{Attention Score}(Q_i, K_j) = \frac{Q_i \cdot K_j}{\sqrt{d_k}} ]

1.1.4. 计算注意力权重

为了得到标准化的权重，使用Softmax函数将所有得分转换为概率分布：

[ \alpha_{ij} = \frac{\exp\left(\frac{Q_i \cdot K_j}{\sqrt{d_k}}\right)}{\sum_{j=1}^{n} \exp\left(\frac{Q_i \cdot K_j}{\sqrt{d_k}}\right)} ]

其中，(\alpha_{ij}) 表示第 (i) 个词对第 (j) 个词的注意力权重，所有 (\alpha_{ij}) 的和为 1。

1.1.5. 加权求和

通过对 Value 向量 (V_j) 进行加权求和，可以得到输入序列中每个词的新的表示：

[ \text{Attention Output}(Q_i) = \sum_{j=1}^{n} \alpha_{ij} V_j ]

这一步实际上是在汇总输入序列中每个词的信息，并根据注意力权重将其综合起来。

1.1.6. 输出

最终，自注意力机制的输出是一个与输入相同大小的矩阵，每个词的表示都经过注意力机制的重新调整，使其包含了其他词的上下文信息。

1.1.7. 示例计算

为了更好地理解自注意力机制的计算过程，下面通过一个具体的例子来展示如何计算自注意力输出。

示例说明

假设我们有一个简单的输入序列，长度为3，每个词用一个维度为2的向量表示。输入序列 (X) 可以表示为：

[ X = \begin{bmatrix} 1 & 0
0 & 1
1 & 1 \end{bmatrix} ]

我们将使用以下步骤计算自注意力机制的输出：

1. 生成 Query、Key 和 Value 矩阵

首先，我们定义权重矩阵 (W_Q)、(W_K) 和 (W_V)，将输入序列线性变换为 Query、Key 和 Value。假设权重矩阵如下：

[ W_Q = \begin{bmatrix} 1 & 0
0 & 1 \end{bmatrix}, \quad W_K = \begin{bmatrix} 1 & 0
0 & 1 \end{bmatrix}, \quad W_V = \begin{bmatrix} 1 & 0
0 & 1 \end{bmatrix} ]

这样，Query、Key 和 Value 矩阵分别是：

[ Q = X W_Q = \begin{bmatrix} 1 & 0
0 & 1
1 & 1 \end{bmatrix}, \quad K = X W_K = \begin{bmatrix} 1 & 0
0 & 1
1 & 1 \end{bmatrix}, \quad V = X W_V = \begin{bmatrix} 1 & 0
0 & 1
1 & 1 \end{bmatrix} ]

2. 计算注意力得分

接下来，我们计算 Query 和 Key 的点积，得到注意力得分矩阵。注意力得分矩阵的元素是 (Q_i \cdot K_j)，表示第 (i) 个词与第 (j) 个词的相似性。具体计算如下：

  • (Q_1 \cdot K_1 = 1 \times 1 + 0 \times 0 = 1)
  • (Q_1 \cdot K_2 = 1 \times 0 + 0 \times 1 = 0)
  • (Q_1 \cdot K_3 = 1 \times 1 + 0 \times 1 = 1)
  • (Q_2 \cdot K_1 = 0 \times 1 + 1 \times 0 = 0)
  • (Q_2 \cdot K_2 = 0 \times 0 + 1 \times 1 = 1)
  • (Q_2 \cdot K_3 = 0 \times 1 + 1 \times 1 = 1)
  • (Q_3 \cdot K_1 = 1 \times 1 + 1 \times 0 = 1)
  • (Q_3 \cdot K_2 = 1 \times 0 + 1 \times 1 = 1)
  • (Q_3 \cdot K_3 = 1 \times 1 + 1 \times 1 = 2)

得分矩阵 (S) 为：

[ S = \begin{bmatrix} 1 & 0 & 1
0 & 1 & 1
1 & 1 & 2 \end{bmatrix} ]

3. 计算注意力权重

接下来，我们将注意力得分通过Softmax函数转换为注意力权重。为了简化计算，我们不考虑缩放（即不除以 (\sqrt{d_k})），直接对每行进行Softmax计算。

  • 第1行：Softmax([1, 0, 1]) = [0.4223, 0.1554, 0.4223]
  • 第2行：Softmax([0, 1, 1]) = [0.2119, 0.3940, 0.3940]
  • 第3行：Softmax([1, 1, 2]) = [0.2119, 0.2119, 0.5762]

因此，注意力权重矩阵 (A) 为：

[ A = \begin{bmatrix} 0.4223 & 0.1554 & 0.4223
0.2119 & 0.3940 & 0.3940
0.2119 & 0.2119 & 0.5762 \end{bmatrix} ]

4. 加权求和计算输出

接下来，用注意力权重对 Value 矩阵进行加权求和，得到自注意力的输出。每个词的输出通过以下公式计算：

[ \text{Output}(i) = \sum_{j=1}^{n} \alpha_{ij} V_j ]

以第一个词的输出为例：

[ \text{Output}(1) = 0.4223 \times \begin{bmatrix} 1
0 \end{bmatrix}

  • 0.1554 \times \begin{bmatrix} 0
    1 \end{bmatrix}
  • 0.4223 \times \begin{bmatrix} 1
    1 \end{bmatrix} = \begin{bmatrix} 0.8446
    0.5777 \end{bmatrix} ]

对其他词重复相同的计算，最终的输出矩阵 (Z) 为：

[ Z = \begin{bmatrix} 0.8446 & 0.5777
0.7880 & 0.7880
0.7880 & 0.9999 \end{bmatrix} ]

1.2. 多头注意力机制（Multi-Head Attention）

多头注意力机制（Multi-Head Attention Mechanism） 是 Transformer 模型中的一个重要组成部分，它是在单头注意力机制的基础上，通过并行计算多次注意力，将输入信息从不同的角度进行聚合，从而提升模型的表现能力。

1.2.1. 为什么需要多头注意力？

在单头注意力机制中，每次只能计算一组 Query、Key 和 Value，从而生成一个注意力输出。这种方式虽然能够捕捉序列中的依赖关系，但它只是在一个子空间中进行的表示。如果希望模型能够从多个角度捕捉到序列中词与词之间的关系，多头注意力就提供了一种解决方案。多头注意力可以通过并行多个注意力头，来捕捉到不同类型的依赖关系和上下文信息。

1.2.2. 输入表示

假设输入序列是一个长度为 (n) 的词序列，每个词被表示为一个 (d_{model}) 维的向量，整个输入矩阵 (X \in \mathbb{R}^{n \times d_{model}})。多头注意力与单头注意力的区别在于，输入序列会通过多组线性变换生成多个 Query、Key 和 Value。

1.2.3. 生成多组 Query、Key 和 Value

在多头注意力机制中，我们会有多个头，每个头会生成自己的一组 Query、Key 和 Value。对于第 (i) 个头：

[ Q_i = X W_{Q_i}, \quad K_i = X W_{K_i}, \quad V_i = X W_{V_i} ]

其中，(W_{Q_i} \in \mathbb{R}^{d_{model} \times d_k})、(W_{K_i} \in \mathbb{R}^{d_{model} \times d_k}) 和 (W_{V_i} \in \mathbb{R}^{d_{model} \times d_v}) 是线性变换矩阵。每个头的维度 (d_k) 和 (d_v) 都是较小的值，通常会设定 (d_k = d_v = \frac{d_{model}}{h})，其中 (h) 是注意力头的数量。

1.2.4. 计算每个头的注意力

每个头独立地计算注意力值，类似于单头注意力：

[ \text{Attention}_i(Q_i, K_i, V_i) = \text{Softmax}\left(\frac{Q_i K_i^T}{\sqrt{d_k}}\right) V_i ]

对于每一个头，计算注意力输出的方式和单头注意力完全一样。每个头的注意力机制通过对 Query 和 Key 的点积计算相似性，接着通过 Softmax 函数得到注意力权重，再用这些权重对 Value 进行加权求和。

1.2.5. 拼接头的输出

在多头注意力机制中，经过每个注意力头的计算后，生成了 (h) 个不同的注意力输出。然后将这些头的输出拼接起来，形成一个新的矩阵：

[ \text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \text{head}_2, \dots, \text{head}_h) W_O ]

其中，(\text{head}i = \text{Attention}_i(Q_i, K_i, V_i)) 是第 (i) 个注意力头的输出，拼接后的矩阵尺寸为 (n \times d{model})。最后再通过一个线性变换矩阵 (W_O \in \mathbb{R}^{d_{model} \times d_{model}}) 将拼接后的结果映射回到 (d_{model}) 维的输出空间。

1.2.6. 多头注意力机制的优势

  1. 并行化计算多个子空间的注意力 多头注意力通过多次独立的注意力计算，将输入序列投影到多个子空间。每个子空间的注意力头可以独立学习不同的依赖关系。比如在机器翻译中，一个头可能关注词语的句法结构，而另一个头可能关注词语的语义关联。

  2. 捕捉不同层次的依赖关系 多头注意力允许模型在同一个序列中同时捕捉短距离和长距离的依赖关系。例如，一个注意力头可能专注于相邻的词之间的关系，而另一个头则可以捕捉更远距离的关系。这使得模型能够从多种角度理解输入序列中的信息。

  3. 增强表达能力 通过并行多个注意力头，模型有能力从不同的角度观察输入序列中的每一个词。单头注意力只能在一个子空间中进行表示学习，而多头注意力可以增强表示的丰富性和多样性，提高模型的表达能力。

  4. 避免信息丢失 拼接多个头的输出后再通过线性变换，确保了即便不同的头关注于不同的特征，最终的结果仍然是综合多个注意力头的信息。通过这种方式，模型能够将各个头所捕捉到的不同特征融合在一起，避免单一特征主导模型表现。

1.2.7. 多头注意力的计算示例

假设我们有一个简单的输入序列，每个词被表示为一个三维向量。输入序列为 (X)，它包含三个词：

[ X = \begin{bmatrix} 1 & 0 & 1
0 & 1 & 0
1 & 1 & 0 \end{bmatrix} ]

假设我们要使用两个注意力头进行多头注意力机制。首先，生成每个头的 Query、Key 和 Value：

[ W_{Q_1}, W_{K_1}, W_{V_1}, W_{Q_2}, W_{K_2}, W_{V_2} \in \mathbb{R}^{3 \times 2} ]

每个头独立进行线性变换，计算各自的 Query、Key 和 Value，然后对每个头进行单独的注意力计算。

对于第一个头，注意力计算公式如下：

[ \text{Attention}_1(Q_1, K_1, V_1) = \text{Softmax}\left(\frac{Q_1 K_1^T}{\sqrt{2}}\right) V_1 ]

第二个头也是同样的过程：

[ \text{Attention}_2(Q_2, K_2, V_2) = \text{Softmax}\left(\frac{Q_2 K_2^T}{\sqrt{2}}\right) V_2 ]

最后，将两个头的输出拼接起来，再通过线性变换 (W_O) 得到最终的输出：

[ \text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \text{head}_2) W_O ]

这样，多头注意力机制可以通过不同的角度来捕捉输入序列中的依赖关系，生成更加丰富的表示。

多头注意力机制是自注意力机制的增强版，它通过多个独立的注意力头从不同子空间并行计算注意力。多头注意力能够捕捉序列中的不同依赖关系、增强模型的表达能力并提高表示的多样性。在自然语言处理（NLP）任务中，它显著提高了Transformer等模型的性能，使得这些模型能够更加准确地理解输入数据中的复杂关系。

1.3. 位置编码（Positional Encoding）

位置编码（Positional Encoding） 是 Transformer 模型中用于捕捉序列位置信息的一种方法。由于 Transformer 模型的自注意力机制不依赖于输入序列的顺序（它是完全并行的），因此模型本身无法区分输入序列中词的相对或绝对位置。而在自然语言处理任务中，词的顺序对于理解句子意义至关重要。为了解决这一问题，Transformer 通过位置编码来显式地为每个词引入位置信息。

位置编码的核心思想

位置编码是一个用于表示序列中每个位置的向量，这些向量会被加到每个词的表示（词嵌入向量）中，以引入序列的顺序信息。通过这种方式，模型不仅可以基于词的内容来学习，还能基于词的相对位置来捕捉上下文信息。

位置编码的设计

Transformer 模型使用了一种基于正弦函数和余弦函数的固定位置编码方案。具体来说，假设序列中某个词的位置为 ( pos )，词向量的维度为 ( d_{model} )，则第 ( pos ) 位置的词的第 (i) 个维度的编码通过以下公式计算：

[ PE_{(pos, 2i)} = \sin \left(\frac{pos}{10000^{\frac{2i}{d_{model}}}} \right) ] [ PE_{(pos, 2i+1)} = \cos \left(\frac{pos}{10000^{\frac{2i}{d_{model}}}} \right) ]

其中：

  • ( pos ) 是词的位置索引，
  • ( i ) 是维度索引，
  • ( d_{model} ) 是词嵌入的维度大小（即每个词被表示为一个 ( d_{model} ) 维的向量）。

这个公式的核心思想是，位置编码根据词的位置生成不同频率的正弦和余弦信号，不同位置的编码向量彼此之间有规律的变化，使得模型能够根据这些编码感知词在序列中的位置。

为什么使用正弦和余弦？

  1. 平滑的位置信息传递：正弦和余弦函数的周期性特性使得编码可以自然地表达不同位置之间的距离。相近位置的编码在低频部分的值变化较小，而相隔较远的位置在高频部分的值变化较大。因此，模型不仅可以捕捉词的位置，还可以捕捉词之间的相对距离。

  2. 对任意序列长度的通用性：正弦和余弦函数的形式可以在任何序列长度上使用，无需对特定的序列长度进行特殊设计。通过引入不同的频率，这种位置编码方案可以为任意长度的输入序列生成不同的编码。

  3. 无训练参数：这种固定的位置编码不需要通过训练来学习位置向量。与基于学习的位置编码不同，这种设计完全依赖于数学函数，既节省了计算资源，又避免了模型参数膨胀。

位置编码的应用

在 Transformer 模型中，位置编码向量会与输入的词嵌入向量相加（逐元素相加），以引入位置信息：

[ \text{Input with Positional Encoding} = \text{Word Embedding} + \text{Positional Encoding} ]

这样，模型接收到的输入既包含词的语义信息（词嵌入向量），也包含了序列中每个词的位置信息（位置编码向量）。

示例

假设我们有一个长度为 4 的序列，每个词被表示为一个 8 维的词向量（即 ( d_{model} = 8 )）。根据位置编码公式，对于位置 ( pos = 0 )、( pos = 1 )、( pos = 2 )、( pos = 3 )，分别生成位置编码向量。然后这些位置编码向量会被加到词嵌入上，生成带位置信息的输入。

例如，假设在位置 0 和位置 1 的编码为：

  • ( PE(0) = [\sin(0), \cos(0), \sin(0), \cos(0), \dots] = [0, 1, 0, 1, \dots] )
  • ( PE(1) = [\sin(1), \cos(1), \sin(\frac{1}{10000}), \cos(\frac{1}{10000}), \dots] = [0.841, 0.540, \dots] )

每个位置的编码向量会加到相应位置的词向量上。例如，位置 0 的词向量为 ( [0.5, 0.3, 0.8, 0.1, \dots] )，加上位置编码后就变成 ( [0.5, 1.3, 0.8, 1.1, \dots] )。

位置编码的特点

  1. 全局性：位置编码不仅可以编码词的绝对位置，还可以帮助模型捕捉词之间的相对位置，从而为模型提供丰富的位置信息。

  2. 固定性：位置编码是固定的，不会随训练过程更新。这使得它不会增加模型的学习负担，也避免了像 RNN/LSTM 这种需要通过逐层传递信息的顺序处理。

  3. 结合词语表示：通过将位置编码与词嵌入相加，模型可以同时学习到词与词之间的语义关系以及它们的位置信息。这种结合能够让模型更好地理解输入序列的结构和语义。

动态位置编码（可选）

除了固定的正弦-余弦位置编码，还有一些 Transformer 变体采用了可学习的位置编码（Learnable Positional Encoding）。在这种方法中，位置编码向量不再是固定的，而是通过训练来学习的。这种方法允许模型根据任务的需要，灵活调整每个位置的编码。不过，学习的位置编码可能会增加模型的训练复杂度和参数量。

总结

位置编码在 Transformer 模型中扮演着至关重要的角色，它为模型引入了序列的位置信息，使得 Transformer 能够处理有顺序要求的任务（如翻译、文本生成等）。通过使用正弦和余弦函数，位置编码能够为模型提供平滑的、可解释的位置信息，并且由于其不含训练参数的特性，也使得它计算高效、通用性强。

1.4. 编码器和解码器（Encoder and Decoder）

Transformer模型的架构主要由两个部分组成：编码器（Encoder）和解码器（Decoder）。这两个模块分别由多层堆叠构成，每一层具有特定的功能和结构。

1. 编码器（Encoder）

编码器是 Transformer 模型的核心部分之一。编码器的主要任务是将输入的序列（如一个句子）通过一系列的计算，生成对应的上下文表示。这个表示包含了输入序列中的全局依赖关系，并能够被解码器用于生成目标序列。

编码器的组成

编码器由 N 层堆叠 而成，每一层内部有两个主要的子层：

  1. 多头自注意力机制（Multi-Head Self-Attention Mechanism）：
    • 自注意力机制是编码器的关键组件，它使模型能够捕捉输入序列中每个词与其他词的依赖关系。通过自注意力机制，模型可以从全局范围内获取每个词的上下文信息，而不是像传统的 RNN 那样逐词处理。
    • 编码器的自注意力机制被称为自注意力，因为它只对输入序列本身进行注意力计算，而不会关注解码器的输出。
    • 在多头自注意力机制中，输入序列通过多个注意力头并行处理，从而能够从不同的角度捕捉序列中词与词之间的关系。
  2. 前馈神经网络（Feed-Forward Neural Network, FFN）：
    • 前馈神经网络对每个词进行逐词处理。即每个词的表示会通过一个全连接的神经网络进行非线性变换。前馈网络在每个词的维度上独立作用，而不是考虑词之间的关系。

每一层的输出会通过 残差连接（Residual Connection） 来避免梯度消失问题，并通过 层归一化（Layer Normalization） 来稳定训练过程。

编码器的结构图：

输入序列 --> 自注意力 --> 残差连接 + 层归一化 --> 前馈网络 --> 残差连接 + 层归一化 --> 输出序列

2. 解码器（Decoder）

解码器是 Transformer 模型中负责生成输出序列的部分。在机器翻译等任务中，解码器通过输入编码器的输出，并生成目标序列。解码器类似于编码器，也是由多层堆叠而成，但每层包含更多的子层以处理生成任务的复杂性。

解码器的组成

解码器的每一层包含三个子层：

  1. 多头自注意力机制（Masked Multi-Head Self-Attention Mechanism）：
    • 解码器中的自注意力机制与编码器类似，但有一个关键的区别：解码器的自注意力机制是 Masked（遮盖） 的。遮盖的目的是为了确保模型在生成输出时，不能“看到”目标序列中的未来词语。例如，当解码器生成第一个词时，模型只能参考已经生成的部分，而不能提前获取未来的信息。这是通过遮盖矩阵实现的，它将未来的词语信息屏蔽掉。
  2. 编码器-解码器注意力机制（Encoder-Decoder Attention Mechanism）：
    • 这个子层的任务是让解码器能够“关注”编码器的输出，即解码器可以基于输入序列的信息来生成输出序列。这是通过计算解码器中的 Query 和编码器的 Key、Value 之间的注意力来实现的。通过这种机制，解码器能够综合输入序列的信息来生成相应的输出。
  3. 前馈神经网络（Feed-Forward Neural Network, FFN）：
    • 与编码器相同，解码器中的前馈网络也是对每个词的表示进行独立处理，通过一个全连接神经网络进行线性变换和非线性激活。

与编码器一样，解码器的每个子层后面也都有 残差连接 和 层归一化，确保信息的有效传递和模型的稳定性。

解码器的结构图：

目标序列 --> Masked 自注意力 --> 残差连接 + 层归一化 --> 编码器-解码器注意力 --> 残差连接 + 层归一化 --> 前馈网络 --> 残差连接 + 层归一化 --> 输出序列

3. 编码器-解码器之间的交互

Transformer 模型的编码器和解码器通过 注意力机制 进行交互。编码器负责提取输入序列的上下文信息，解码器则利用这些信息生成输出序列。具体的交互机制如下：

  • 编码器的输出作为解码器的输入：编码器的每一层输出的上下文表示会被传递到解码器中的编码器-解码器注意力层。在这个层中，解码器将使用这些上下文信息来调整自身的输出表示。
  • 解码器使用编码器的表示进行推理：解码器的自注意力机制确保了模型生成输出时只能参考当前已生成的词，而编码器-解码器注意力机制使得解码器可以根据输入序列生成上下文相关的输出。

4. 残差连接和层归一化

Transformer 模型中每个子层后都使用了 残差连接（Residual Connection） 和 层归一化（Layer Normalization）：

  • 残差连接：它通过将子层的输入直接加到子层的输出上，确保了即使子层训练过程中存在梯度消失或爆炸的问题，信息仍能有效地传递。这个技巧非常重要，特别是在深度神经网络中，可以显著加速训练并防止梯度消失。

  • 层归一化：层归一化对每个子层的输出进行归一化处理，确保输出的数值稳定，从而加快模型收敛速度并提高训练效果。它使得不同子层之间的数值变化在同一范围内，使模型更容易优化。

5. 整体架构概览

Transformer 模型的整体架构可以总结如下：

  • 编码器：由 (N) 层堆叠，每层包含自注意力机制和前馈网络。它接收输入序列并生成上下文表示。

  • 解码器：由 (N) 层堆叠，每层包含自注意力机制、编码器-解码器注意力机制和前馈网络。解码器生成输出序列，并确保输出不会提前获取未来的信息。

  • 编码器和解码器交互：编码器的输出作为解码器生成输出的重要参考，通过编码器-解码器注意力机制，模型能够结合输入序列信息生成目标序列。

6. 总结

Transformer 的编码器和解码器设计为并行化、高效、并且能够捕捉序列中的长距离依赖关系。编码器处理输入序列，生成上下文相关的表示；解码器利用这些表示生成输出。残差连接和层归一化进一步增强了模型的训练稳定性和效果。

这种设计使 Transformer 模型在机器翻译、文本生成、语言理解等任务中表现卓越，并成为现代自然语言处理的核心架构之一。

1.5. 前馈神经网络（Feed Forward Neural Network, FFN）

在Transformer模型中，前馈神经网络（Feed-Forward Neural Network, FFN） 是编码器和解码器的每一层中的关键组成部分之一。尽管自注意力机制负责捕捉序列中词与词之间的全局依赖关系，但前馈网络则对每个位置的词独立进行非线性变换，增强模型的表达能力。

前馈神经网络的作用

前馈神经网络（FFN）的主要目的是对输入的每个词进行逐词的非线性变换。在自注意力机制中，输入序列的每个词经过多头注意力后，其表示已经包含了全局的上下文信息。接下来，前馈网络会对每个词的表示进行进一步的处理。值得注意的是，前馈网络在每个位置上的操作是独立的，即它不考虑其他词的表示，只对当前词的表示进行处理。

前馈神经网络的结构

前馈神经网络的结构包括两层线性变换和一个 ReLU 激活函数。其操作可以通过以下公式描述：

[ FFN(x) = \max(0, xW_1 + b_1)W_2 + b_2 ]

这个公式展示了前馈网络的具体计算过程：

  1. 第一层线性变换：输入向量 (x) 经过一个线性变换，矩阵 (W_1 \in \mathbb{R}^{d_{model} \times d_{ff}}) 和偏置向量 (b_1 \in \mathbb{R}^{d_{ff}}) 将输入从维度 (d_{model}) 映射到更高维度的空间 (d_{ff})，一般 (d_{ff}) 会比 (d_{model}) 大得多。这个变换公式如下： [ h = xW_1 + b_1 ] 其中 (h) 是中间表示。

  2. ReLU 激活函数：接下来，对中间表示 (h) 进行非线性激活。Transformer使用的激活函数是 ReLU，其定义为： [ \text{ReLU}(h) = \max(0, h) ] 这一步引入了非线性，使得前馈网络能够捕捉复杂的特征。

  3. 第二层线性变换：经过非线性激活后，输出会再经过一个线性变换，将其映射回原来的维度 (d_{model})。具体来说，通过矩阵 (W_2 \in \mathbb{R}^{d_{ff} \times d_{model}}) 和偏置 (b_2 \in \mathbb{R}^{d_{model}})，计算出最终的输出： [ FFN(x) = \text{ReLU}(xW_1 + b_1)W_2 + b_2 ]

这个前馈网络将输入映射到一个更高维度的空间，经过非线性变换，再将其映射回到原来的维度。这样做的目的是增强模型的表达能力，使得每个词能够通过复杂的变换，学到更加丰富的特征。

前馈网络的特性

  • 位置独立性：在前馈神经网络中，每个词的表示是独立处理的，意味着它不考虑其他词的位置。换句话说，FFN 对输入序列的每个词做相同的变换。这是与自注意力机制的一个区别，自注意力机制通过捕捉词与词之间的关系，生成上下文敏感的表示，而 FFN 则仅专注于对单个词进行特征变换。

  • 非线性表示增强：通过 ReLU 激活函数，前馈网络引入了非线性，使得模型可以学习到更复杂的特征。这种非线性变换能够处理更加复杂的模式，例如不同的语义、句法结构等。

  • 高维映射：通过两个线性变换，模型可以将输入从一个低维空间映射到一个更高维的空间，再映射回低维。这种高维的中间表示有助于模型捕捉到更多的特征和信息。

前馈网络在 Transformer 中的作用

  1. 局部表示增强：在自注意力机制中，词的表示已经包含了上下文信息。前馈网络进一步对这些上下文表示进行局部的非线性变换，增强每个词的特征，使模型能够更好地捕捉句子中的复杂语义。

  2. 高效计算：前馈网络是一个逐词独立的操作，因此可以非常高效地并行计算。每个词的处理不依赖于其他词的表示，这使得 Transformer 在处理长序列时能够保持高效。

  3. 与注意力机制互补：自注意力机制主要处理词与词之间的关系，而前馈网络专注于对每个词的独立变换。因此，这两者结合能够使 Transformer 模型既能捕捉全局依赖关系，也能细化局部特征。

例子解析

假设输入到前馈网络的词向量 (x) 是一个三维向量 (x = [x_1, x_2, x_3])，并且 (W_1)、(b_1)、(W_2)、(b_2) 都是适当尺寸的权重矩阵和偏置。前馈网络的计算步骤如下：

  1. 第一层线性变换：假设 (W_1) 是一个 (3 \times 6) 的矩阵，将输入从 3 维映射到 6 维，输出为： [ h = xW_1 + b_1 ] 输出 (h) 是一个 6 维向量。

  2. ReLU 非线性激活：ReLU 将负值置为 0，输出为： [ h_{\text{relu}} = \max(0, h) ] 输出仍然是 6 维向量。

  3. 第二层线性变换：通过 (W_2) 将 6 维向量映射回 3 维空间： [ FFN(x) = h_{\text{relu}}W_2 + b_2 ] 最终输出的向量仍是 3 维的，大小与输入 (x) 一致，但经过了非线性变换，使得模型的表示能力增强。

总结

Transformer中的前馈神经网络是每个词独立处理的两层线性变换和非线性激活组成的神经网络。它在自注意力机制的基础上对每个词的表示进行进一步的非线性处理，增强模型的表达能力。通过位置独立的操作，前馈网络能够有效地处理每个位置的词向量，使其在包含上下文信息的同时获得更加复杂的特征。这种机制使得Transformer在处理自然语言任务时表现优异。

Transformer 的特点和优势：

  1. 并行化： 由于模型不需要逐步处理输入序列，Transformer 可以利用 GPU 并行处理，极大提高了训练速度。
  2. 长距离依赖处理： Transformer 可以轻松捕捉长距离依赖关系，而传统的 RNN 由于序列长度增长可能导致信息遗失。
  3. 灵活性： Transformer 结构可以广泛应用于不同任务，如文本生成、机器翻译、情感分析等。

Transformer 的应用

  • 自然语言处理（NLP）: 最初的 Transformer 是用于机器翻译任务，但它现在被用于所有 NLP 任务，包括语言模型（如 GPT 系列、BERT 等）。
  • 计算机视觉: Vision Transformer（ViT）是将 Transformer 应用于图像分类等视觉任务的模型。
  • 其他领域: Transformer 还在语音识别、推荐系统等领域获得成功。

总结来说，Transformer 通过自注意力机制和并行化处理能力，成为深度学习中的一种强大模型架构，极大提升了在多个任务中的性能和效率。

优点

  • 并行化处理： 由于不依赖于序列顺序，Transformer模型能够并行处理输入序列中的每个词，这大大提高了训练效率。
  • 长距离依赖建模能力： 自注意力机制允许模型直接关注远距离的词，而不必逐层传递信息，克服了RNN和LSTM在处理长序列时的不足。
  • 扩展性强： Transformer架构可以很容易地扩展，适用于各种NLP任务，并且随着硬件的提升可以训练更大的模型，如GPT系列和BERT等。

缺点

  • 计算复杂度高： 自注意力机制在计算时需要对序列中的每一对词进行比较，这使得它的计算复杂度为 (O(n^2))，对于长序列来说，计算代价较高。
  • 对长序列的内存需求大： 在处理非常长的文本序列时，Transformer模型的内存需求会随着序列长度的增加而急剧上升。

Transformer在NLP中的应用

Transformer模型自提出以来，已经被广泛应用于NLP领域的各种任务：

  • 机器翻译： Transformer最早是为机器翻译任务设计的，并在多个翻译任务中达到了最先进的性能。
  • 文本生成： Transformer模型的变体，如GPT（生成预训练模型），已经被成功应用于文本生成任务，能够生成连贯且上下文相关的文本。
  • 句子分类、问答系统： BERT（双向编码器表示）是基于Transformer的预训练模型，它在句子分类、问答系统等任务上取得了优异的表现。

总结

Transformer模型通过自注意力机制有效地解决了传统RNN/LSTM模型在长序列处理中的局限性，并且具有很强的并行化能力。它的多头注意力机制和位置编码进一步提升了模型的表达能力，使得它成为当前NLP领域的主流模型之一。

CATALOG
    FEATURED TAGS
    Algorithm Data Structure Machine Learning Deep Learning NLP Computer Vision LLM
    FRIENDS