动手学深度学习——使用注意力机制的 Seq2Seq 代码

1. 前言上一篇我们已经从原理上理解了使用注意力机制的 Seq2Seq基础 Seq2Seq 的问题是固定上下文向量注意力机制让解码器在每一步都能动态查看输入序列query 通常来自解码器当前状态key 和 value 通常来自编码器所有时间步输出这一篇就继续按李沐的节奏把这套模型真正落实到代码上。这一节最核心的问题就是注意力版解码器怎么写编码器输出如何作为 keys / values 被保存下来解码器每一步如何计算当前上下文向量上下文向量如何和当前输入一起送入循环层输出如何变成目标词表上的预测分布如果一句话概括这一节代码的灵魂那就是解码器每一步先做注意力再做解码。2. 先回顾整体结构注意力版 Seq2Seq 的整体流程可以先写成这样第一步编码器处理源序列得到所有时间步输出enc_outputs最终状态hidden_state第二步解码器初始化把编码器结果组织成解码器所需状态。第三步解码器逐步生成在每个时间步用当前解码器状态做 query对编码器输出做注意力得到当前上下文向量再结合当前输入 token 做解码所以和基础 Seq2Seq 相比最大的变化不在编码器而在解码器多了一个“先注意、再更新”的步骤。3. 编码器部分通常变化不大在很多实现里注意力版 Seq2Seq 的编码器仍然可以沿用前面的 GRU 编码器。例如class Seq2SeqEncoder(d2l.Encoder): def __init__(self, vocab_size, embed_size, num_hiddens, num_layers, dropout0, **kwargs): super(Seq2SeqEncoder, self).__init__(**kwargs) self.embedding nn.Embedding(vocab_size, embed_size) self.rnn nn.GRU(embed_size, num_hiddens, num_layers, dropoutdropout) def forward(self, X, *args): X self.embedding(X) X X.permute(1, 0, 2) output, state self.rnn(X) return output, state这段代码和基础 Seq2Seq 编码器几乎一样。为什么因为注意力机制并没有要求编码器必须换结构它只是要求编码器要把所有时间步输出保留下来。而这个编码器本来就返回output所有时间步隐藏状态state最后状态所以它已经满足需求了。4. 为什么编码器返回的output在这里特别重要在基础 Seq2Seq 里我们更关心的是state也就是最终状态。但在注意力版 Seq2Seq 里output同样非常关键。因为它的形状一般是(num_steps, batch_size, num_hiddens)这相当于源句子每个位置都有一个上下文表示。后面解码器做注意力时正是要对这些位置进行动态加权。所以可以说基础 Seq2Seq主要依赖state注意力 Seq2Seq强依赖output这正是两者的信息使用方式差异。5. 注意力版解码器为什么是这一节的重点因为编码器只是“提供信息”而真正“决定每一步怎么取信息”的是解码器。所以注意力版 Seq2Seq 解码器相比基础版本核心新增了一件事在每个时间步先调用注意力层生成当前上下文向量。然后再拿这个上下文向量去更新解码状态、输出预测。也就是说解码器从原来的输入 token → RNN → 输出变成了当前状态 → Attention → 上下文上下文 输入 token → RNN → 输出这就是代码结构上最本质的变化。6. 注意力版解码器的初始化通常怎么写李沐这里常见的实现大致如下class Seq2SeqAttentionDecoder(d2l.AttentionDecoder): def __init__(self, vocab_size, embed_size, num_hiddens, num_layers, dropout0, **kwargs): super(Seq2SeqAttentionDecoder, self).__init__(**kwargs) self.attention d2l.AdditiveAttention( num_hiddens, num_hiddens, num_hiddens, dropout) self.embedding nn.Embedding(vocab_size, embed_size) self.rnn nn.GRU( embed_size num_hiddens, num_hiddens, num_layers, dropoutdropout) self.dense nn.Linear(num_hiddens, vocab_size)这段初始化代码非常值得逐项拆解。7. 为什么这里先定义self.attention因为注意力已经成了解码器内部的核心子模块。这一句self.attention d2l.AdditiveAttention(...)意味着解码器每一步都会先调用一个加性注意力层。这里用的是加性注意力不是点积注意力。原因也很自然这是早期 Seq2Seq 很经典的做法更符合 Bahdanau attention 这条线教学上更容易和前面内容衔接所以你可以把它理解为解码器内部自带一个“动态查源句信息”的模块。8. 为什么self.rnn的输入维度是embed_size num_hiddens这一句特别关键self.rnn nn.GRU(embed_size num_hiddens, num_hiddens, num_layers, dropoutdropout)它说明送进 GRU 的当前步输入不只是目标 token 的 embedding还要拼上当前注意力得到的上下文向量也就是说在解码器每个时间步真正输入给循环层的是当前目标 token embedding当前上下文向量 context拼接后的总维度自然就是embed_size num_hiddens这正体现了注意力机制的本质每一步生成都带着“当前从源句读出来的信息”一起进行。9.init_state为什么和基础版不同注意力版解码器常见的init_state写法如下def init_state(self, enc_outputs, enc_valid_lens, *args): outputs, hidden_state enc_outputs return (outputs.permute(1, 0, 2), hidden_state, enc_valid_lens)这段代码非常关键因为它说明解码器初始化状态不再只是“最终隐藏状态”那么简单了。它通常会返回一个三元组编码器所有时间步输出编码器最终隐藏状态编码器有效长度这三样东西后面每一步做注意力都要用到。10. 为什么要outputs.permute(1, 0, 2)编码器输出outputs默认常常是(num_steps, batch_size, num_hiddens)但注意力层往往更希望 keys / values 的组织方式是(batch_size, num_steps, num_hiddens)这样更符合“一个 batch 里每条样本对应一串 key/value 表示”的直觉。所以这里做outputs.permute(1, 0, 2)就是把时间维和 batch 维交换一下方便后续把编码器输出当作keysvalues来使用。11. 为什么解码器状态里还要带enc_valid_lens因为源句通常有 padding。例如一个 batch 中第一句真实长度 7第二句真实长度 5都 pad 到了 10那么做注意力时后面 pad 的那几位其实不该被关注。所以必须把有效长度也保存到状态里后面交给注意力层 mask。也就是说这里的状态不是单纯“神经状态”还包含了做注意力时必要的辅助信息这也是注意力版解码器比基础版更复杂的原因之一。12. 解码器前向传播通常怎么写李沐这里注意力版解码器的核心forward逻辑大致如下def forward(self, X, state): enc_outputs, hidden_state, enc_valid_lens state X self.embedding(X).permute(1, 0, 2) outputs, self._attention_weights [], [] for x in X: query torch.unsqueeze(hidden_state[-1], dim1) context self.attention( query, enc_outputs, enc_outputs, enc_valid_lens) x torch.cat((context, torch.unsqueeze(x, dim1)), dim-1) out, hidden_state self.rnn(x.permute(1, 0, 2), hidden_state) outputs.append(out) self._attention_weights.append(self.attention.attention_weights) outputs self.dense(torch.cat(outputs, dim0)) return outputs.permute(1, 0, 2), [enc_outputs, hidden_state, enc_valid_lens]这段代码就是这一节最核心的部分。13. 为什么这里要先把X做 embedding 再permute和前面一样输入X一般是(batch_size, num_steps)先过 embedding 以后变成(batch_size, num_steps, embed_size)再通过permute(1, 0, 2)变成(num_steps, batch_size, embed_size)这样我们就可以在for x in X:里逐时间步处理目标输入。每次x的形状大致是(batch_size, embed_size)这正适合做“当前时间步解码”。14.query hidden_state[-1].unsqueeze(1)在做什么这一句是注意力版解码器最关键的一步query torch.unsqueeze(hidden_state[-1], dim1)这里hidden_state[-1]表示当前解码器最顶层的隐藏状态形状通常是(batch_size, num_hiddens)再unsqueeze(1)后就变成(batch_size, 1, num_hiddens)为什么这么做因为注意力层一般希望 query 形状带上一个“查询个数”维度这里我们当前时间步只有 1 个 query所以就把它扩成每个样本一个 query这表示当前解码器状态就是当前步的注意力查询需求。15.context self.attention(query, enc_outputs, enc_outputs, enc_valid_lens)在做什么这一句就是把前面所有注意力知识真正用起来了context self.attention(query, enc_outputs, enc_outputs, enc_valid_lens)这里query当前解码器状态enc_outputs第一次作为keysenc_outputs第二次作为valuesenc_valid_lens用于 mask padding最终得到的context形状通常是(batch_size, 1, num_hiddens)这可以理解成当前时间步专属的上下文向量也就是说解码器终于不再一直用同一个上下文了而是每一步重新算一个新的context。16. 为什么keys values enc_outputs因为最经典的 Seq2Seq 注意力里编码器每个时间步输出既承担匹配对象key信息内容value这很自然。作为 key用于和当前 query 比较相关性决定注意力权重。作为 value用于最后加权求和形成上下文向量。所以这一步等于是在说源句各位置既提供“索引”也提供“内容”。17. 为什么要把context和当前输入x拼起来这一句非常重要x torch.cat((context, torch.unsqueeze(x, dim1)), dim-1)意思是把当前上下文向量context当前目标 token embeddingx拼接在一起。为什么要这样做因为解码器当前步要做预测应该同时基于两部分信息第一部分当前目标前缀信息由当前输入 token embedding 提供。第二部分当前从源句读出来的信息由注意力上下文向量提供。拼起来以后解码器当前步输入就不再只是“我前面生成到哪里了”而是我前面生成到哪里了 我现在从源句里读到了什么这就是注意力版 Seq2Seq 解码器的精髓。18. 为什么送进 GRU 前又要permute(1, 0, 2)拼接后的x形状通常是(batch_size, 1, embed_size num_hiddens)但 GRU 默认希望输入是(num_steps, batch_size, input_size)而此时我们当前只处理一个时间步所以时间步长度就是 1。于是要转成(1, batch_size, embed_size num_hiddens)这样当前步数据才能正确送进 GRU。19. 为什么outputs和attention_weights都要存起来在循环里有两句特别值得注意outputs.append(out) self._attention_weights.append(self.attention.attention_weights)outputs.append(out)保存每个时间步的输出后面统一拼起来做词表预测。attention_weights.append(...)保存每个时间步的注意力权重后面可以可视化分析模型到底在关注源句哪里这很有价值因为注意力机制最大的优点之一就是可解释性更强你能看到模型在不同解码步上把注意力分配给了哪些输入位置。20. 最后为什么还要dense(torch.cat(outputs, dim0))循环里每个out通常只是解码器 GRU 的隐藏状态输出形状类似(1, batch_size, num_hiddens)把所有时间步拼起来以后得到(num_steps, batch_size, num_hiddens)但这还不是最终预测分布。所以还要再接一个线性层self.dense nn.Linear(num_hiddens, vocab_size)把每个时间步的隐藏表示映射到目标词表大小。这样才得到每个时间步对所有目标 token 的打分这和前面语言模型、基础 Seq2Seq 的输出头逻辑是一致的。21. 为什么返回时状态还是[enc_outputs, hidden_state, enc_valid_lens]因为下一轮解码还要继续用这三样东西enc_outputs作为后续 attention 的 keys/valueshidden_state作为解码器自身延续状态enc_valid_lens后续 attention mask 还要用所以注意力版解码器状态里不只是“循环状态”而是一整组完成解码所需的信息包。你可以理解成解码器需要一直带着“源句信息库 当前自身状态 有效长度规则”往后走。22. 这一节代码相比基础 Seq2Seq最本质多了什么如果一句话概括就是每个解码时间步多了一次 attention 计算。具体来说多出来的是基础版直接拿固定上下文和输入拼接送进 GRU注意力版用当前隐藏状态生成 query和编码器所有输出做 attention得到当前动态 context再和当前输入拼接送进 GRU所以真正升级的地方就在于context 不再固定而是每一步重新计算。这就是代码层面最本质的不同。23. 这一节最该掌握什么如果从学习重点看最关键的是下面几件事。23.1 解码器状态里有什么要知道不只是 hidden state还有编码器输出有效长度23.2 query 是怎么来的通常来自当前解码器顶层隐藏状态。23.3 keys / values 是什么通常都是编码器所有时间步输出。23.4 context 是怎么和输入结合的是拼接不是替换。23.5 注意力机制在代码中插入的位置是在每个解码时间步先 attention再 GRU。24. 本节总结这一节我们学习了使用注意力机制的 Seq2Seq 代码实现核心内容可以总结为以下几点。24.1 编码器通常仍然可以沿用基础 Seq2Seq 编码器关键是保留所有时间步输出。24.2 解码器初始化状态比基础版本更丰富通常包含编码器所有输出解码器初始隐藏状态有效长度24.3 每个解码时间步都会先计算当前注意力上下文向量而不是使用固定上下文。24.4 当前上下文向量会和当前输入 token embedding 拼接后送入 GRU这让解码器在每一步都能结合源句动态信息。24.5 注意力权重通常会被保存下来便于后续分析和可视化这是注意力模型很重要的附加价值。25. 学习感悟这一节非常关键因为它标志着 Seq2Seq 模型终于真正“长了眼睛”。基础 Seq2Seq 更像是先把输入看完记一个总结然后闭着眼往后写。而注意力版 Seq2Seq 则是一边写一边不断回头看输入中当前最相关的位置。这个区别在代码里并不只是“多了几行”而是从根本上改变了模型的信息使用方式。也正因为如此注意力机制才会成为后来几乎整个现代 NLP 架构的基础。