【深度学习-Day 46】词嵌入 (Word Embedding) 深度解析：让机器读懂你的语言

大模型铲屎官

2277人浏览 · 2025-09-09 19:00:00

大模型铲屎官 · 2025-09-09 19:00:00 发布

Langchain系列文章目录

01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南
 02-玩转 LangChain Memory 模块：四种记忆类型详解及应用场景全覆盖
 03-全面掌握 LangChain：从核心链条构建到动态任务分配的实战指南
 04-玩转 LangChain：从文档加载到高效问答系统构建的全程实战
 05-玩转 LangChain：深度评估问答系统的三种高效方法（示例生成、手动评估与LLM辅助评估）
06-从 0 到 1 掌握 LangChain Agents：自定义工具 + LLM 打造智能工作流！
07-【深度解析】从GPT-1到GPT-4：ChatGPT背后的核心原理全揭秘
 08-【万字长文】MCP深度解析：打通AI与世界的“USB-C”，模型上下文协议原理、实践与未来

深度学习系列文章目录

文章目录

Langchain系列文章目录
Python系列文章目录
PyTorch系列文章目录
机器学习系列文章目录
深度学习系列文章目录
Java系列文章目录
JavaScript系列文章目录
深度学习系列文章目录
摘要
一、语言的数学表示：为何需要词嵌入？
- 1.1 计算机的困境：无法直接理解文本
- 1.2 最初的尝试：One-Hot 编码
二、词嵌入的核心思想：从“孤岛”到“星辰”
- 2.1 什么是词嵌入？
- - 2.1.1 定义与目标
  - 2.1.2 绝妙的类比：语义空间
- 2.2 词嵌入的优势
三、动手实现：框架中的 Embedding 层
- 3.1 Embedding 层：一个智能的“查找表”
- 3.2 PyTorch 代码实战
- - 3.2.1 创建并使用 Embedding 层
- 3.3 TensorFlow (Keras) 代码实战
- - 3.3.1 创建并使用 Embedding 层
四、站在巨人的肩膀上：预训练词向量
- 4.1 为什么需要预训练？
- - 4.1.1 数据与算力的现实
  - 4.1.2 知识的迁移
- 4.2 经典预训练模型概览
- - 4.2.1 Word2Vec：上下文的智慧
  - 4.2.2 GloVe：全局统计的力量
- 4.3 实战：加载并使用 GloVe 预训练向量
五、常见问题与选择策略
- 5.1 我应该从头训练还是使用预训练词向量？
- 5.2 Word2Vec vs. GloVe，如何选择？
- 5.3 词嵌入已经过时了吗？
六、总结

摘要

欢迎来到深度学习之旅的第46天！在上一篇文章中，我们使用 RNN 成功构建了文本分类模型，并初步接触了将文本转换为数字的思想。今天，我们将深入探讨这一过程的核心技术——词嵌入 (Word Embedding)。词嵌入是自然语言处理（NLP）领域的一块重要基石，它彻底改变了机器处理和“理解”文本的方式。本文将带你从传统文本表示方法的困境出发，系统性地揭开词嵌入的神秘面纱，理解其核心思想、工作原理，并手把手教你如何在 PyTorch 和 TensorFlow 中使用 Embedding 层，最后还将介绍如何利用强大的预训练词向量（如 Word2Vec 和 GloVe）来提升模型性能。

一、语言的数学表示：为何需要词嵌入？

在让机器处理任何任务之前，我们必须将现实世界的信息转换成它能理解的语言——数字。对于图像，我们可以用像素值矩阵表示；但对于文本，这个转换过程要复杂得多。

1.1 计算机的困境：无法直接理解文本

计算机本质上是数学工具，它无法直接理解“苹果”和“香蕉”这两个词的含义，更不用说它们之间的关系（都是水果）。为了让算法能够处理文本，我们必须找到一种方法，将词语、句子乃至整篇文档数值化。

1.2 最初的尝试：One-Hot 编码

最直观、最简单的数值化方法之一就是 One-Hot 编码。

1.2.1 什么是 One-Hot 编码？

One-Hot 编码的思想是为词汇表中的每个单词创建一个唯一的向量。假设我们的词汇表非常简单，只包含四个词：["猫", "狗", "追", "跑"]。

构建词典：为每个词分配一个唯一的整数索引。
- 猫: 0
- 狗: 1
- 追: 2
- 跑: 3
创建向量：创建一个长度等于词汇表大小（这里是4）的向量，将对应索引位置的元素设为1，其余全部设为0。
- 猫 -> [1, 0, 0, 0]
- 狗 -> [0, 1, 0, 0]
- 追 -> [0, 0, 1, 0]
- 跑 -> [0, 0, 0, 1]

这种表示方法简单明了，易于实现。然而，它的美好仅限于此，其固有的缺陷在实际应用中是致命的。

1.2.2 One-Hot 编码的“两大硬伤”

（1）维度灾难与稀疏性

想象一个真实的 NLP 任务，词汇表通常包含数万甚至数十万个单词。这意味着每个单词的 One-Hot 向量也将有数万维。

维度灾难 (Curse of Dimensionality)：如此高维的向量会使得计算量巨大，模型参数急剧膨胀，训练变得异常困难。
数据稀疏性 (Sparsity)：每个向量中只有一个元素是1，其余全是0。这种极度稀疏的表示方式效率低下，并且浪费了大量的存储空间。

（2）语义鸿沟

这是 One-Hot 编码最根本的问题。在数学上，任意两个不同单词的 One-Hot 向量都是正交的。我们可以计算它们的点积：
"猫" · "狗" = [1, 0, 0, 0] · [0, 1, 0, 0] = 0
"猫" · "跑" = [1, 0, 0, 0] · [0, 0, 0, 1] = 0

点积为0意味着向量在几何上是垂直的，它们之间的距离完全相等。这向模型传递了一个错误的信息：所有单词之间都是相互独立的，没有任何关联。但事实上，“猫”和“狗”在语义上比“猫”和“跑”更接近（都是宠物）。One-Hot 编码完全无法捕捉这种宝贵的语义信息，形成了一道难以逾越的“语义鸿沟”。

二、词嵌入的核心思想：从“孤岛”到“星辰”

为了克服 One-Hot 编码的缺陷，词嵌入 (Word Embedding) 应运而生。它旨在用一个低维、稠密的向量来表示每个单词，并且这个向量本身就蕴含了单词的语义信息。

2.1 什么是词嵌入？

2.1.1 定义与目标

词嵌入是一种将词汇表中的每个单词映射到一个固定大小的、连续的、稠密的实数向量的技术。这个向量被称为词向量 (Word Vector)。

其核心目标是：

降维：将词语从高维稀疏空间（One-Hot）映射到低维稠密空间（例如，100维、300维）。
捕获语义：向量本身要能编码单词的意义。在向量空间中，意思相近的单词，其对应的向量在空间中的距离也应该更近。

2.1.2 绝妙的类比：语义空间

如果说 One-Hot 编码的世界里，每个单词都是一座孤岛，彼此隔离。那么在词嵌入的世界里，所有单词都变成了浩瀚星空中的星辰，它们的位置和相对距离揭示了彼此间的关系。

最著名的例子是：
$\text{vector}('King') - \text{vector}('Man') + \text{vector}('Woman') \approx \text{vector}('Queen')$
这个公式神奇地展示了词嵌入捕获到的复杂语义关系——“性别”关系。同样，我们也能发现 vector('Paris') - vector('France') + vector('China') 会非常接近 vector('Beijing')，这捕获了“首都”关系。

我们可以用一个简化的二维图来直观感受：

在这个假想的语义空间中，“King” 和 “Queen” 很近，“Apple” 和 “Orange” 也很近，但 “King” 和 “Apple” 就相距甚远。

2.2 词嵌入的优势

特性	One-Hot 编码	词嵌入 (Word Embedding)
维度	非常高（等于词汇表大小）	相对较低（如 50, 100, 300）
表示	稀疏（只有一个 1）	稠密（都是非零实数）
语义关系	无法表示（向量正交）	可以表示（空间距离代表语义相似度）
计算效率	低	高
参数量	巨大	可控

三、动手实现：框架中的 Embedding 层

理论虽好，但如何在代码中实现呢？主流深度学习框架（如 PyTorch 和 TensorFlow）都提供了 Embedding 层，它就是词嵌入思想的直接应用。

3.1 Embedding 层：一个智能的“查找表”

你可以将 Embedding 层理解为一个大型的查找表（Lookup Table）。

表的“行”：对应词汇表中的每一个单词。
表的“列”：是每个单词对应的低维稠密向量。
工作方式：当你输入一个或一批单词的整数索引时，Embedding 层会直接“查表”，返回这些单词对应的词向量。

这个“表”本身就是模型的参数，它会在模型训练过程中通过反向传播不断学习和优化，使得生成的词向量越来越能反映数据中的语义关系。

3.2 PyTorch 代码实战

在 PyTorch 中，我们使用 torch.nn.Embedding。

3.2.1 创建并使用 Embedding 层

import torch
import torch.nn as nn

# 1. 定义参数
num_embeddings = 10  # 词汇表大小，假设有10个词
embedding_dim = 3    # 嵌入向量的维度，设置为3维

# 2. 创建 Embedding 层
# 这会创建一个 10x3 的权重矩阵，即查找表
embedding_layer = nn.Embedding(num_embeddings, embedding_dim)

# 打印初始化的权重（词向量表）
print("Embedding Layer Weights (Lookup Table):")
print(embedding_layer.weight)
print("-" * 30)

# 3. 准备输入数据
# 输入必须是 LongTensor 类型的整数索引
# 假设我们要查找索引为 1, 4, 9 的单词的词向量
input_indices = torch.LongTensor([1, 4, 9]) 

# 4. 获取词向量
output_vectors = embedding_layer(input_indices)

print(f"Input indices shape: {input_indices.shape}")
print(f"Output vectors shape: {output_vectors.shape}")
print("\nOutput Vectors:")
print(output_vectors)

# 验证一下输出是否正确
# 输出的第一行应该等于权重矩阵的第2行 (索引为1)
print("\nIs the first output vector same as the weight at index 1?")
print(torch.equal(output_vectors[0], embedding_layer.weight[1]))

3.3 TensorFlow (Keras) 代码实战

在 TensorFlow 中，对应的是 tf.keras.layers.Embedding。

3.3.1 创建并使用 Embedding 层

import tensorflow as tf

# 1. 定义参数
vocab_size = 10  # 词汇表大小
embed_dim = 3    # 嵌入向量的维度

# 2. 创建 Embedding 层
# input_dim 是词汇表大小，output_dim 是嵌入维度
embedding_layer = tf.keras.layers.Embedding(input_dim=vocab_size, output_dim=embed_dim)

# 3. 准备输入数据
# 输入是整数索引
input_indices = tf.constant([[1, 4, 9]]) # Keras层通常期望一个批次维度

# 4. 获取词向量
output_vectors = embedding_layer(input_indices)

# 查看权重和输出
# Keras层需要在使用后（build之后）才能看到权重
print("Embedding Layer Weights (Lookup Table):")
print(embedding_layer.get_weights()[0])
print("-" * 30)

print(f"Input indices shape: {input_indices.shape}")
print(f"Output vectors shape: {output_vectors.shape}")
print("\nOutput Vectors:")
print(output_vectors)

四、站在巨人的肩膀上：预训练词向量

虽然 Embedding 层可以在我们自己的数据集上从零开始学习词向量，但这需要大量的训练数据和计算资源。一个更高效、更强大的策略是使用预训练词向量 (Pre-trained Word Vectors)。

4.1 为什么需要预训练？

4.1.1 数据与算力的现实

大型科技公司（如 Google, Facebook）利用其海量的文本数据（如整个维基百科、新闻语料库）和强大的计算集群，训练出了高质量的通用词向量。对于大多数开发者和研究者来说，复现这样的训练既不现实也不必要。

4.1.2 知识的迁移

这些在海量数据上训练好的词向量，已经学习到了丰富的、普适性的语言知识（词义、句法、语义关系）。我们可以直接将这些知识“迁移”到我们自己的任务中，即使我们的自有数据集很小，也能获得很好的初始效果。

4.2 经典预训练模型概览

这些模型的核心思想都是基于分布式假设 (Distributional Hypothesis)：一个词的意义由其上下文决定 (You shall know a word by the company it keeps)。

4.2.1 Word2Vec：上下文的智慧

Word2Vec 是 Google 在 2013 年提出的里程碑式模型。它有两种主要的训练架构：

CBOW (Continuous Bag-of-Words)：根据上下文词语来预测中心词。例如，给出 ["the", "cat", "on", "the", "mat"]，用 ["the", "cat", "on", "the"] 来预测 sat。
Skip-gram：根据中心词来预测其上下文词语。这通常在处理稀有词时效果更好。例如，给出 sat，去预测它周围的词 ["the", "cat", "on", "the"]。

4.2.2 GloVe：全局统计的力量

GloVe (Global Vectors for Word Representation) 是斯坦福大学提出的模型。它认为仅靠局部上下文是不够的，应该结合全局的词-词共现统计 (Word-Word Co-occurrence Statistics)。GloVe 通过对一个巨大的共现矩阵进行分解，来学习词向量，它能更直接地利用全局统计信息。

4.3 实战：加载并使用 GloVe 预训练向量

下面我们以 PyTorch 为例，展示如何将预训练的 GloVe 向量加载到我们的 Embedding 层中。

4.3.1 准备工作：下载与解析

首先，你需要从 GloVe 官网下载预训练好的词向量文件（例如 glove.6B.100d.txt，它包含在 60 亿个词上训练的 100 维向量）。

这个文件每一行都是一个单词，后面跟着它的 100 个浮点数向量值，用空格隔开。我们需要写一个函数来解析它。

import numpy as np

def load_glove_vectors(glove_file_path):
    """加载 GloVe 文件，返回一个 {单词: 向量} 的字典"""
    embeddings_dict = {}
    with open(glove_file_path, 'r', encoding='utf-8') as f:
        for line in f:
            values = line.split()
            word = values[0]
            vector = np.asarray(values[1:], "float32")
            embeddings_dict[word] = vector
    return embeddings_dict

# 假设你已经下载并解压了 glove.6B.100d.txt
# glove_vectors = load_glove_vectors("path/to/glove.6B.100d.txt")

4.3.2 构建词汇表与嵌入矩阵

在真实项目中，我们会先根据自己的训练数据构建一个词汇表（word_to_idx），然后创建一个嵌入矩阵，用 GloVe 中对应的向量来填充它。

# 假设这是我们自己数据集的词汇表
word_to_idx = {'king': 0, 'queen': 1, 'man': 2, 'woman': 3, 'unk': 4} # 'unk' for unknown words
vocab_size = len(word_to_idx)
embedding_dim = 100 # 必须与 GloVe 文件维度一致

# 创建一个全零的嵌入矩阵
embedding_matrix = np.zeros((vocab_size, embedding_dim))

# 用 GloVe 向量填充矩阵
# glove_vectors 是上一步加载的字典
for word, i in word_to_idx.items():
    embedding_vector = glove_vectors.get(word)
    if embedding_vector is not None:
        # 如果在 GloVe 中找到了这个词
        embedding_matrix[i] = embedding_vector
    # 如果没找到，则该词的向量保持为全零（或随机初始化）

4.3.3 在 PyTorch 中加载预训练权重

最后，我们将这个准备好的矩阵加载到 nn.Embedding 层中。

import torch
import torch.nn as nn

# 将 numpy 矩阵转换为 torch 张量
embedding_matrix_tensor = torch.from_numpy(embedding_matrix).float()

# 创建 Embedding 层
embedding_layer = nn.Embedding(vocab_size, embedding_dim)

# 加载预训练权重
embedding_layer.weight.data.copy_(embedding_matrix_tensor)

# (可选但推荐) 冻结 Embedding 层，使其在训练中不被更新
# 如果你的数据集很小，或者你相信预训练向量已经足够好，就应该冻结
embedding_layer.weight.requires_grad = False

print("Successfully loaded pre-trained weights into Embedding layer!")

五、常见问题与选择策略

5.1 我应该从头训练还是使用预训练词向量？

使用预训练向量 (推荐在多数情况下)：
- 当你的训练数据集较小时。
- 当你处理的是通用领域的文本（新闻、网页等）时。
- 当你希望快速启动并获得一个不错的基线模型时。
从头开始训练：
- 当你的训练数据集非常庞大时。
- 当你处理的是非常特定的领域（如医学、法律、金融），且该领域的术语在通用语料库中很少见或有不同含义时。
微调 (Fine-tuning) (折中方案)：
- 使用预训练向量进行初始化，但在训练过程中允许它们被更新（即 requires_grad = True），并使用一个较小的学习率。这适用于有一定规模的特定领域数据集。

5.2 Word2Vec vs. GloVe，如何选择？

在很多任务上，两者的表现不相上下。GloVe 因为利用了全局信息，在某些基准测试上略胜一筹。在实践中，你可以将它们都视为高质量的预训练向量来源。通常，选择哪个取决于你更方便获取哪种预训练文件，或者哪个在你的特定任务验证集上表现更好。

5.3 词嵌入已经过时了吗？

这是一个很好的问题。随着 Transformer 架构（如 BERT, GPT）的兴起，上下文相关的词嵌入 (Contextualized Word Embeddings) 成为了新的主流。与 Word2Vec/GloVe 为每个词提供一个固定向量不同，BERT 会根据单词在句子中的具体上下文生成不同的向量（例如，“bank”在“river bank”和“investment bank”中的向量是不同的）。

然而，这并不意味着 Word2Vec/GloVe 等静态词嵌入已经过时。它们依然是：

NLP 入门的基石：理解静态词嵌入是理解更复杂模型的前提。
高效的工具：对于许多中小型任务，或者对计算资源有限制的场景，它们仍然是一种非常有效且轻量级的解决方案。
许多系统的组成部分：在一些复杂的系统中，它们仍然被用作特征或初始化层。

六、总结

今天，我们深入探索了自然语言处理的基石技术——词嵌入。掌握词嵌入，意味着你已经真正开始让机器“理解”语言的奥秘。

本文的核心要点回顾：

问题的起源：我们首先分析了传统文本表示法 One-Hot 编码 的两大硬伤——维度灾难和语义鸿沟，理解了为何需要更先进的技术。
核心思想：我们揭示了词嵌入的本质，即用一个低维、稠密的向量来表示单词，并通过向量在空间中的相对位置来捕获语义关系。
动手实践：我们学习了如何在 PyTorch (nn.Embedding) 和 TensorFlow (tf.keras.layers.Embedding) 中使用 Embedding 层，它是一个可学习的“查找表”，是词嵌入在框架中的具体实现。
能力升华：我们探讨了预训练词向量（如 Word2Vec 和 GloVe）的巨大价值，它们将在海量数据上学到的通用语言知识迁移到我们的任务中，并实践了加载预训练向量的全过程。
策略与展望：我们讨论了在不同场景下如何选择训练策略，并明确了静态词嵌入在当今 Transformer 时代下的重要地位。

至此，你不仅理解了词嵌入的“是什么”和“为什么”，更掌握了“怎么用”。在接下来的学习中，我们将看到词嵌入作为基础组件，在更复杂的 NLP 模型中大放异彩。

码道开发者社区

码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践

更多推荐

AI 已经能直接改设计稿了:Windows部署Penpot，接入Codex MCP实测

码道开发者社区

【AI 业务流架构师】AI 业务流架构师方法论：Agentic AI 范式转移与业务编排思维

2026 年，Anthropic CEO Dario Amodei 在 Code with Claude 大会上的一个判断广为流传：一个人运营一家十亿美元级公司的概率是 70%–80%。这句话听起来像科幻小说的设定，但它背后是一个正在发生的结构性变化——AI 把"执行"的成本压到了历史低点，同时把"编排"的价值推到了前台。这意味着我们需要一套新的思考框架，来回答两个问题：一个人如何拥有一个公司的产