别再死记HMM公式了！用‘骰子游戏’和‘BMES标签’轻松理解中文分词原理

weixin_33701617

302人浏览 · 2026-04-18 02:00:33

weixin_33701617 · 2026-04-18 02:00:33 发布

从骰子游戏到中文分词：用生活化类比拆解HMM核心原理

想象你走进一家地下赌场，看到两个赌徒正在玩骰子游戏。第一个赌徒用的是标准骰子，每个数字出现概率均等；第二个赌徒的骰子却被动了手脚，数字6出现的概率高达50%。庄家每次会根据隐藏的规则选择让哪位赌徒掷骰子，而你作为观察者，只能看到骰子的结果序列——这就是隐马尔可夫模型（HMM）最生动的现实映射。

1. 赌场里的概率游戏：HMM三要素图解

1.1 两个骰子与三种概率矩阵

让我们把赌场场景中的元素对应到HMM的核心组件：

状态转移矩阵（A）：就像庄家选择赌徒的潜规则。假设前一轮是赌徒1，下一轮选择赌徒2的概率是70%；如果前一轮是赌徒2，则继续选择他的概率是40%。用表格表示更直观：

当前赌徒 \ 下一赌徒赌徒1 赌徒2
赌徒1 0.3 0.7
赌徒2 0.6 0.4
观测概率矩阵（B）：描述每个赌徒产生不同结果的概率分布。赌徒1的标准骰子各面概率均匀，赌徒2的作弊骰子则明显偏向数字6：
```
# 观测概率矩阵示例
B = {
    '赌徒1': [1/6, 1/6, 1/6, 1/6, 1/6, 1/6],  # 标准骰子
    '赌徒2': [0.1, 0.1, 0.1, 0.1, 0.1, 0.5]   # 作弊骰子
}
```
初始概率（π）：游戏开始时选择第一个赌徒的概率分布。假设庄家抛硬币决定，那么π = [0.5, 0.5]

当前赌徒 \ 下一赌徒	赌徒1	赌徒2
赌徒1	0.3	0.7
赌徒2	0.6	0.4

1.2 从观察到推理的逆向思维

HMM的精妙之处在于其逆向推理能力。假设观察到骰子序列[6,6,3,6]，我们可以计算最可能对应的赌徒序列：

连续出现6的概率在赌徒2手中更高
数字3在赌徒1手中出现概率是1/6，而在赌徒2手中仅0.1
结合状态转移概率，最可能序列是[赌徒2→赌徒2→赌徒1→赌徒2]

提示：这个推理过程正是维特比算法的雏形——通过动态规划找出最优路径。

2. 当HMM遇见中文：BMES标签系统的艺术

2.1 中文分词的独特挑战

与英文不同，中文文本没有天然的分隔符。"武汉市长江大桥"可能被理解为：

武汉/市长/江大桥
武汉市/长江/大桥

这就需要引入BMES标注体系：

B（Begin）：词的起始字
M（Middle）：词的中间字
E（End）：词的结尾字
S（Single）：独立成词的单字

2.2 从字到词的隐藏状态转移

将HMM应用于分词时，每个汉字就是观测值，BMES标签就是隐藏状态。以"我喜欢吃火锅"为例：

汉字	我	喜	欢	吃	火	锅
标签	S	B	E	S	B	E

对应的状态转移矩阵（A）会记录类似这样的规律：

当前标签是B时，下一个标签是M或E的概率较高
当前标签是E时，下一个标签是B或S的概率较高

3. 实战演练：用Python实现简易分词器

3.1 数据预处理关键步骤

使用人民日报语料库时，原始数据格式如下：

坚持/v 改革/vn '/w 开放/v ，/w

需要转换为：

['B', 'E', 'B', 'E', 'S', 'B', 'E', 'S']

def convert_to_tags(word):
    length = len(word)
    if length == 1:
        return ['S']
    elif length == 2:
        return ['B', 'E']
    else:
        return ['B'] + ['M']*(length-2) + ['E']

3.2 参数估计的统计智慧

通过统计语料库中的出现频率，我们可以估算三个核心参数：

初始概率π：统计句子第一个字的标签分布
转移矩阵A：统计前一个标签到当前标签的转移次数
发射矩阵B：统计每个标签下出现特定汉字的概率

# 统计转移次数的示例代码
for prev_tag, current_tag in zip(tags[:-1], tags[1:]):
    transition_counts[prev_tag][current_tag] += 1

3.3 维特比算法的动态规划之美

维特比算法通过保留局部最优路径，避免穷举所有可能性。其核心步骤：

初始化第一个字的所有标签概率
对后续每个字：
- 计算从前一标签到当前标签的所有转移路径概率
- 只保留到达当前标签的最大概率路径
回溯找出全局最优路径

def viterbi(obs):
    # 初始化
    V = [{}]
    for tag in tags:
        V[0][tag] = pi[tag] * B[tag].get(obs[0], 1e-10)
    
    # 递推
    for t in range(1, len(obs)):
        V.append({})
        for tag in tags:
            max_prob, best_prev = max(
                (V[t-1][prev_tag] * A[prev_tag][tag] * B[tag].get(obs[t], 1e-10), prev_tag)
                for prev_tag in tags
            )
            V[t][tag] = max_prob
            backpointers[t][tag] = best_prev
    
    # 回溯
    best_path = []
    last_tag = max(V[-1], key=V[-1].get)
    best_path.append(last_tag)
    for t in range(len(obs)-1, 0, -1):
        best_path.insert(0, backpointers[t][best_path[0]])
    return best_path

4. 超越基础：HMM分词的局限与进阶

4.1 经典HMM的三大软肋

未登录词问题：遇到训练集未出现的汉字时，发射概率归零
- 解决方案：加入平滑技术（如Add-one平滑）
长距离依赖：HMM的马尔科夫性假设限制了对复杂语言模式的捕捉
- 改进方向：转向CRF或神经网络模型
特征单一：仅考虑字与标签的关系，忽略上下文语义
- 增强方法：结合n-gram特征或预训练词向量

4.2 现代分词技术演进路线

模型类型	代表算法	优势	局限
规则模型	最大匹配法	实现简单，速度快	准确率低，依赖词典
统计模型	HMM	概率化建模，适应性强	假设过强，特征单一
判别式模型	CRF	可加入丰富特征	计算复杂度高
神经网络模型	BiLSTM-CRF	自动学习特征，准确率高	需要大量数据，训练成本高