【深度学习-Day 48】序列到序列 (Seq2Seq) 模型详解：从机器翻译看懂 Encoder-Decoder 架构

大模型铲屎官

1703人浏览 · 2025-09-16 19:00:00

大模型铲屎官 · 2025-09-16 19:00:00 发布

Langchain系列文章目录

01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南
 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖
 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南
 04-玩转 LangChain：从文档加载到高效问答系统构建的全程实战
 05-玩转 LangChain：深度评估问答系统的三种高效方法（示例生成、手动评估与LLM辅助评估）
06-从 0 到 1 掌握 LangChain Agents：自定义工具 + LLM 打造智能工作流！
07-【深度解析】从GPT-1到GPT-4：ChatGPT背后的核心原理全揭秘
 08-【万字长文】MCP深度解析：打通AI与世界的“USB-C”，模型上下文协议原理、实践与未来

深度学习系列文章目录

文章目录

Langchain系列文章目录
Python系列文章目录
PyTorch系列文章目录
机器学习系列文章目录
深度学习系列文章目录
Java系列文章目录
JavaScript系列文章目录
深度学习系列文章目录
摘要
一、什么是序列到序列 (Seq2Seq) 任务？
二、传统 RNN 模型的局限性
三、Seq2Seq 的核心：编码器-解码器 (Encoder-Decoder) 架构
四、深入理解编码器 (Encoder)
- 4.1 编码器的目标
- 4.2 编码器的实现
五、深入理解解码器 (Decoder)
- 5.1 解码器的目标
- 5.2 解码器的实现
六、Seq2Seq 工作流程全景：以机器翻译为例
七、Seq2Seq 模型的挑战与展望
- - 7.1.1 信息瓶颈 (Information Bottleneck)
  - 7.1.2 展望：注意力机制
八、总结

摘要

欢迎来到深度学习之旅的第48天！在前面的章节中，我们已经掌握了循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）等处理序列数据的强大工具。然而，这些模型大多处理的是输入序列和输出序列长度相等，或输入一个序列输出一个固定类别的问题（如情感分析）。如果我们要处理的任务输入和输出都是长度可变的序列，比如机器翻译、文本摘要或对话系统，应该怎么办呢？本文将深入探讨解决这类问题的关键技术——序列到序列（Seq2Seq）模型。我们将详细剖析其核心的编码器-解码器（Encoder-Decoder）架构，理解其工作原理，并为我们后续学习更高级的注意力机制（Attention）和 Transformer 模型打下坚实的基础。

一、什么是序列到序列 (Seq2Seq) 任务？

在深入模型架构之前，我们首先要明确 Seq2Seq 模型旨在解决什么样的问题。

简单来说，序列到序列（Seq2Seq）任务指的是那些输入是一个序列，输出也是一个序列，并且输入序列和输出序列的长度不一定相等的任务。

这些任务在现实世界中非常普遍，以下是一些典型的例子：

机器翻译 (Machine Translation): 将一种语言的句子（输入序列）翻译成另一种语言的句子（输出序列）。例如，将 “I am a student.” (长度4) 翻译成 “我是一个学生。” (长度6)。
文本摘要 (Text Summarization): 将一篇长文章（输入序列）浓缩成几句关键摘要（输出序列）。
对话系统 (Chatbots): 将用户的一句提问（输入序列）生成一句得体的回答（输出序列）。
语音识别 (Speech Recognition): 将一段音频信号（输入序列）转换成文字（输出序列）。

这些任务的共同特点是，模型不能简单地对输入序列的每个元素做独立判断，而必须先“理解”整个输入序列的含义，然后再“生成”一个全新的、长度可能不同的输出序列。

二、传统 RNN 模型的局限性

我们之前学习的 RNN、LSTM 或 GRU 模型，虽然擅长处理序列，但在直接应用于 Seq2Seq 任务时会遇到一个核心困难。

标准的 RNN 结构通常将序列中的每一个输入 $x_t$ 映射到一个输出 $y_t$ 。这种“同步”的、一一对应的模式适用于词性标注等任务，但无法处理输入输出序列长度不一致的情况。

例如，在机器翻译 “I love you” -> “我爱你” 中，输入有3个词，输出也有3个词，似乎可以对应。但如果是 “How are you?” -> “你好吗？”，输入3个词，输出只有2个词，这种一一对应的关系就打破了。

我们需要一种更灵活的架构，能够先“读完”整个输入序列，形成一个整体的理解，然后基于这个理解，再开始“创作”输出序列。这正是 编码器-解码器 (Encoder-Decoder) 架构设计的初衷。

三、Seq2Seq 的核心：编码器-解码器 (Encoder-Decoder) 架构

为了解决上述问题，研究者们在 2014 年提出了基于 RNN 的 Encoder-Decoder 架构，也称为 Seq2Seq 模型。这个架构巧妙地将复杂的 Seq2Seq 任务分解为两个相对独立的部分：编码（Encoding） 和 解码（Decoding）。

我们可以用一个生活中的例子来类比：人类翻译官。

编码阶段 (Encoder): 翻译官首先会仔细听或读完整个源语言句子（例如，一句英文）。在这个过程中，他/她会将句子的所有信息、语法、语义等在脑海中进行消化、压缩，形成一个对这句话的整体“含义”的理解。
解码阶段 (Decoder): 然后，翻译官会根据脑中形成的这个“含义”，开始用目标语言（例如，中文）一个词一个词地组织和生成新的句子，直到完整表达出原始句子的意思。

Seq2Seq 模型完美地模仿了这个过程。

编码器 (Encoder): 一个 RNN（通常是 LSTM 或 GRU），负责处理输入序列。它会一步步地读取输入序列的每个元素，同时更新其内部的隐藏状态（hidden state）。当读取完整个序列后，其最终的隐藏状态就被认为是整个输入序列的浓缩表示，称为上下文向量 (Context Vector)，通常用 $C$ 表示。这个向量可以被看作是模型对输入序列的“理解”。
解码器 (Decoder): 也是一个 RNN（同样，通常是 LSTM 或 GRU），负责生成输出序列。它的初始隐藏状态由编码器的上下文向量 $C$ 初始化。然后，它会一个接一个地生成输出序列的元素，直到生成一个特殊的结束符（如 <EOS>）为止。在生成每个新元素时，它不仅会考虑自己的隐藏状态，还会将上一步生成的元素作为下一步的输入。

下面是 Encoder-Decoder 架构的示意图：

graph TD
    subgraph Encoder
        direction LR
        x1(Input 1: "I") --> h1(RNN Cell 1)
        h1 -- h1 --> h2(RNN Cell 2)
        x2(Input 2: "am") --> h2
        h2 -- h2 --> h3(RNN Cell 3)
        x3(Input 3: "a") --> h3
        h3 -- h3 --> h4(RNN Cell 4)
        x4(Input 4: "student") --> h4
    end

    subgraph Decoder
        direction LR
        C -- Initial Hidden State --> d1(RNN Cell 1)
        start([<SOS>]) -- Input --> d1
        d1 -- h'1 --> d2(RNN Cell 2)
        d1 -- "我" --> y1(Output 1: "我")
        y1 -- Input --> d2
        d2 -- h'2 --> d3(RNN Cell 3)
        d2 -- "是" --> y2(Output 2: "是")
        y2 -- Input --> d3
        d3 -- "学生" --> y3(Output 3: "学生")
    end

    h4 -- Final Hidden State --> C{Context Vector C}

    style C fill:#f9f,stroke:#333,stroke-width:2px

四、深入理解编码器 (Encoder)

4.1 编码器的目标

编码器的唯一目标是：将一个可变长度的输入序列压缩成一个固定长度的上下文向量 $C$ 。

这个向量 $C$ 必须蕴含整个输入序列的语义信息，因为它将是解码器生成输出序列的唯一信息来源。

4.2 编码器的实现

编码器通常由一个或多个堆叠的 RNN 层（LSTM 或 GRU）组成。我们以单层 GRU 为例：

输入: 输入序列 $X = (x_1, x_2, ..., x_T)$ ，其中 $x_t$ 是序列在时间步 $t$ 的词向量。
处理过程:
- 在时间步 $t = 1$ ，GRU 单元接收初始隐藏状态 $h_0$ （通常是零向量）和第一个输入 $x_1$ ，计算出隐藏状态 $h_1$ 。
  $h_1 = \text{GRU}(h_0, x_1)$
- 在时间步 $t = 2$ ，GRU 单元接收上一个隐藏状态 $h_1$ 和第二个输入 $x_2$ ，计算出新的隐藏状态 $h_2$ 。
  $h_2 = \text{GRU}(h_1, x_2)$
- 这个过程一直持续到最后一个输入 $x_T$ 。
  $h_t = \text{GRU}(h_{t-1}, x_t)$
输出: 当编码器处理完所有输入后，它最后一个时间步的隐藏状态 $h_T$ 就被作为上下文向量 $C$ 。
$C = h_T$

这个上下文向量 $C$ 就像是整个输入句子的“灵魂”，凝聚了所有信息。

五、深入理解解码器 (Decoder)

5.1 解码器的目标

解码器的目标是：给定上下文向量 $C$ ，生成一个可变长度的目标序列 $Y = (y_1, y_2, ..., y_{T'})$ 。

它是一个条件语言模型，即在给定条件 $C$ 的情况下，预测下一个词的概率 $P (Y ∣ C)$ 。

5.2 解码器的实现

解码器也是一个 RNN（LSTM或GRU），其工作流程更为精巧：

初始化: 解码器的初始隐藏状态 $s_0$ 不再是零向量，而是直接用编码器生成的上下文向量 $C$ 进行初始化。
$s_0 = C$
这步至关重要，它将输入序列的“理解”传递给了解码器。
生成过程 (自回归):
- 时间步 $t = 1$ :
  - 解码器接收一个特殊的起始符 <SOS> (Start of Sentence) 作为第一个输入。
  - 结合初始隐藏状态 $s_0$ ，计算出新的隐藏状态 $s_1$ ，并预测第一个目标词 $y_1$ 的概率分布。
    $s_1 = \text{GRU}(s_0, \text{<SOS>})$
    $P(y_1 | C) = \text{Softmax}(\text{Linear}(s_1))$
  - 我们通常选择概率最高的词作为 $y_1$ 的输出。
- 时间步 $t = 2$ :
  - 解码器将上一步生成的输出 $y_1$ 作为当前步的输入。
  - 结合上一个隐藏状态 $s_1$ ，计算出新的隐藏状态 $s_2$ ，并预测第二个目标词 $y_2$ 。
    $s_2 = \text{GRU}(s_1, y_1)$
    $P(y_2 | C, y_1) = \text{Softmax}(\text{Linear}(s_2))$
- 循环: 这个过程不断重复，上一步的输出是下一步的输入，直到解码器生成一个特殊的结束符 <EOS> (End of Sentence) 或者达到预设的最大长度。这种将自身输出作为下一步输入的方式，称为自回归 (Auto-Regressive)。

六、Seq2Seq 工作流程全景：以机器翻译为例

让我们通过一个完整的机器翻译例子 “How are you” -> “你好吗” 来梳理整个流程。

6.1.1 数据准备

源语言 (英文): “How”, “are”, “you”, <EOS>
目标语言 (中文): <SOS>, “你”, “好”, “吗”, <EOS>
- 注意：目标序列在训练时需要加上 <SOS> 和 <EOS> 标志，以告知解码器何时开始、何时结束。

6.1.2 编码阶段

编码器 RNN 依次读取 “How”, “are”, “you”, <EOS> 的词向量。
每一步都更新其内部的隐藏状态。
当读取完 <EOS> 后，编码器 RNN 最终的隐藏状态向量被提取出来，作为上下文向量 $C$ 。

6.1.3 解码阶段 (训练时)

解码器 RNN 的初始隐藏状态被设置为 $C$ 。
第1步:
- 输入: <SOS>
- 解码器预测输出，并与真实标签 “你” 计算损失。
第2步:
- 输入: “你” (来自真实标签，这种方法称为 Teacher Forcing，可以稳定训练)
- 解码器预测输出，并与真实标签 “好” 计算损失。
第3步:
- 输入: “好”
- 解码器预测输出，并与真实标签 “吗” 计算损失。
第4步:
- 输入: “吗”
- 解码器预测输出，并与真实标签 <EOS> 计算损失。

所有时间步的损失会累加起来，通过反向传播更新整个模型（包括编码器和解码器）的参数。

6.1.4 解码阶段 (推理/预测时)

编码器处理输入句子，得到上下文向量 $C$ 。
解码器以 $C$ 初始化。
第1步: 输入 <SOS>，模型预测出概率最高的词是 “你”。
第2步: 将上一步生成的 "你"作为输入，模型预测出概率最高的词是 “好”。
第3步: 将上一步生成的 "好"作为输入，模型预测出概率最高的词是 “吗”。
第44步: 将上一步生成的 "吗"作为输入，模型预测出概率最高的词是 <EOS>。
遇到 <EOS>，生成过程结束。最终输出为 “你好吗”。

七、Seq2Seq 模型的挑战与展望

尽管 Encoder-Decoder 架构非常强大和优雅，但它也存在一个明显的瓶颈。

7.1.1 信息瓶颈 (Information Bottleneck)

整个输入序列的所有信息，无论长短，都必须被强行压缩到一个固定长度的上下文向量 $C$ 中。

对于短句子，这可能没问题。
但对于很长的句子（比如一段话），这个小小的向量很难记住所有重要的细节。先输入的信息可能会被后输入的信息覆盖，导致信息丢失，这类似于人类“记不住”太长的一句话的所有细节。

这个瓶颈限制了基础 Seq2Seq 模型的性能，尤其是在处理长序列时。

7.1.2 展望：注意力机制

如何解决这个信息瓶颈问题？

一个直观的想法是：解码器在生成每个词的时候，能不能不要只依赖于那个“大一统”的上下文向量 $C$ ？能不能让它在需要的时候，“回头看一看”输入序列的特定部分？

例如，在翻译 “I am a student” 时，当解码器要生成 “学生” 这个词时，它最好能重点关注输入序列中的 “student” 这个词，而不是平均地关注所有词。

这种让模型在生成输出时，动态地、有选择地关注输入序列不同部分的技术，就是大名鼎鼎的注意力机制 (Attention Mechanism)。它极大地提升了 Seq2Seq 模型的性能，并为后续更强大的 Transformer 模型的诞生铺平了道路。我们将在下一篇文章中详细探讨它。

八、总结

本文详细介绍了序列到序列（Seq2Seq）模型的基础知识，它是处理输入输出均为可变长度序列任务的基石。

核心问题: 传统 RNN 难以处理输入输出序列长度不一的任务，如机器翻译、文本摘要等。
核心架构: Seq2Seq 模型采用编码器-解码器 (Encoder-Decoder) 架构。编码器负责“理解”输入序列，解码器负责“生成”输出序列。
编码器 (Encoder): 一个 RNN（如 LSTM/GRU），将整个输入序列压缩成一个固定长度的上下文向量 (Context Vector)，即其最后一个时间步的隐藏状态。
解码器 (Decoder): 另一个 RNN，其初始隐藏状态由上下文向量初始化。它采用自回归的方式，将上一步的输出作为下一步的输入，逐个生成目标序列的元素。
工作流程: 模型通过端到端的方式进行训练，将源序列映射到目标序列，并最小化预测与真实标签之间的损失。
局限与展望: 基础 Seq2Seq 模型存在信息瓶颈问题，因为所有输入信息都被压缩到单个固定大小的向量中。这为我们引出了下一讲的核心主题——注意力机制 (Attention Mechanism)，它将是克服这一瓶颈的关键。

码道开发者社区

码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践

更多推荐

AI 已经能直接改设计稿了:Windows部署Penpot，接入Codex MCP实测

码道开发者社区

【AI 业务流架构师】AI 业务流架构师方法论：Agentic AI 范式转移与业务编排思维

2026 年，Anthropic CEO Dario Amodei 在 Code with Claude 大会上的一个判断广为流传：一个人运营一家十亿美元级公司的概率是 70%–80%。这句话听起来像科幻小说的设定，但它背后是一个正在发生的结构性变化——AI 把"执行"的成本压到了历史低点，同时把"编排"的价值推到了前台。这意味着我们需要一套新的思考框架，来回答两个问题：一个人如何拥有一个公司的产