第一步：Transformer介绍

Transformer是一种基于注意力机制的序列到序列模型，它在机器翻译任务中表现出色并逐渐成为自然语言处理领域的主流模型。Transformer模型的核心思想是使用自注意力机制（self-attention）来捕捉输入序列中各个位置的上下文关联。自注意力机制允许模型在编码和解码过程中对不同位置的信息进行加权，使得模型能够更好地理解上下文，并将重要的信息加权汇聚起来。通过多层的自注意力机制和前馈神经网络，Transformer模型能够学习到输入序列的表示，并生成与任务相关的输出。

        相比于传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer模型具有以下优势：1）并行计算能力强，可以高效处理长序列；2）捕捉长距离依赖更加有效；3）模型结构简单且易于训练。注意力机制和Transformer模型的引入使得自然语言处理任务取得了重大进展，比如机器翻译、文本摘要、问答系统等，在这些任务中，Transformer模型已经成为了目前最优秀的模型之一。

第二步：Transformer网络结构

Transformer结构主要由序列输入、编码器（Encoder）、译码器(Decoder)、序列输出四个部分构成。如下图：

第三步：代码展示

class Transformer(nn.Module):
    def __init__(self, encoder, decoder, src_embed, tgt_embed, generator):
        super(Transformer, self).__init__()
        self.encoder = encoder
        self.decoder = decoder
        self.src_embed = src_embed
        self.tgt_embed = tgt_embed
        self.generator = generator

    def encode(self, src, src_mask):
        return self.encoder(self.src_embed(src), src_mask)

    def decode(self, memory, src_mask, tgt, tgt_mask):
        return self.decoder(self.tgt_embed(tgt), memory, src_mask, tgt_mask)

    def forward(self, src, tgt, src_mask, tgt_mask):
        # encoder的结果作为decoder的memory参数传入，进行decode
        return self.decode(self.encode(src, src_mask), src_mask, tgt, tgt_mask)

第四步：运行

运行界面：

第五步：整个工程的内容（包括训练代码和数据）

项目完整文件下载请见演示与介绍视频的简介处给出：➷➷➷

https://www.bilibili.com/video/BV155zAYBEVZ/