深入解析机器学习的核心演进之路

GOU92

662人浏览 · 2025-09-17 15:20:17

GOU92 · 2025-09-17 15:20:17 发布

从经典感知机到白盒Transformer——深入解析机器学习的核心演进之路

引言：开启一场穿越神经网络历史的深度学习之旅

第一章：神经网络的“创世纪”——从单个神经元到感知机

1.1 灵感之源：生物大脑的启示

一切的起点，源于对人类大脑这个宇宙间最复杂、最高效处理器的模仿渴望。一百多年前，神经解剖学之父圣地亚哥·拉蒙-卡哈尔（Santiago Ramon y Cajal）首次绘制出神经元的精细结构，揭示了大脑是由无数个独立的神经细胞通过名为“突触”（Synapse）的连接点相互通信构成的。

一个生物神经元通过其“树突”（Dendrites）接收来自成千上万个其他神经元的信号，在“细胞体”（Cell body）内进行整合处理，当信号强度超过某个阈值时，它就会被“激活”，并通过“轴突”（Axon）向下一个神经元发送信号。这个“多输入、整合处理、阈值激活、单输出”的基本模式，构成了人工神经网络最核心的灵感来源。科学家们的目标，正是要构建一个能够模拟这种大规模并行处理能力的“人工大脑”，以期达到与人类相似的智能水平。

1.2 最初的模型：麦卡洛克-皮茨神经元

1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）提出了第一个人工神经元的数学模型，这被认为是人工神经网络的“创世纪”时刻。这个模型极其简洁地抓住了生物神经元的核心功能：

多个输入（Inputs）：模型接收多个输入信号，记为 $x1,x2,…,xnx_1, x_2, \dots, x_n$ 。
权重（Weights）：每个输入信号都被赋予一个权重，记为 $w1,w2,…,wnw_1, w_2, \dots, w_n$ 。权重代表了不同输入信号的重要性，这正是模拟生物神经突触连接强度的关键。在神经网络中，所有的“知识”都存储在这些权重之中。
求和与阈值：模型将所有加权后的输入信号进行求和（ $∑wixi\sum w_i x_i$ ），然后将这个总和与一个预设的阈值（Threshold, $T$ ）进行比较。
输出（Output）：如果加权和大于或等于阈值，神经元就被激活，输出1；否则，输出0。

这个简单的计算单元，虽然原始，却奠定了后续所有神经网络模型的基础：加权求和与非线性激活（在这里是阶跃函数）。

1.3 感知机学习算法：让机器学会“思考”

仅仅有一个模型是不够的，关键是如何让模型自动地从数据中学习到正确的权重。1958年，弗兰克·罗森布拉特（Frank Rosenblatt）在前人工作的基础上提出了“感知机”（Perceptron），并开创性地设计了一套学习算法，让这个模型第一次具备了学习能力。

感知机学习算法的核心思想是“基于错误进行调整”。其权重更新的规则可以表示为：

$w(n+1)=w(n)+ηe(n)x(n)w^{(n+1)} = w^{(n)} + \eta e^{(n)} x^{(n)}$

其中：

$w^{(n+1)}$ 是更新后的权重向量。
$w^{(n)}$ 是当前的权重向量。
$η\eta$ (eta) 是学习率（learning rate），一个控制每次更新步长的正数。
$x^{(n)}$ 是当前的输入向量。
$e^{(n)}$ 是误差信号，定义为 $e^{(n)} = d^{(n)} - y^{(n)}$ ，其中 $d^{(n)}$ 是期望的正确输出（desired output），而 $y^{(n)}$ 是感知机当前的实际输出（actual output）。

这个公式的直观解释是：如果感知机的预测是错误的（即 $e^{(n)}$ 不为0），那么就根据错误的大小和方向，以及当前输入 $x^{(n)}$ ，来调整权重 $w^{(n)}$ 。如果预测正确（ $e^{(n)}=0$ ），则权重保持不变。这个过程会不断迭代，直到网络对所有训练数据都能做出正确的预测。

罗森布拉特还从数学上证明了著名的感知机收敛定理：对于任何线性可分的数据集，感知机学习算法都能在有限次的迭代后收敛，找到一个能完美划分所有数据点的权重向量。

1.4 优化基石：梯度下降法 (Gradient Descent)

感知机学习算法虽然有效，但它更多是基于一种直觉式的“纠错”思想。为了给学习过程提供一个更坚实的数学基础，我们需要引入优化的概念。机器学习的本质，可以看作是一个寻找一组最佳模型参数（例如，权重 $w$ ），以最小化某个“成本函数”（Cost Function）的过程。

最常用的成本函数之一是均方误差（Mean Squared Error），它衡量的是模型预测值与真实值之间差距的平方和：

$\sum_{i=1}^n e^{(i)2} = \sum_{i=1}^n (d^{(i)} - y^{(i)})^2$

我们的目标就是找到一组权重 $w^*$ ，使得 $E (w)$ 最小。在理想情况下，最小值点通常出现在成本函数对权重的梯度（导数）为零的地方，即 $∇E(w∗)=0\nabla E(w^*) = 0$ 。

对于简单模型，我们可以直接解这个方程得到解析解。但对于复杂的神经网络，直接求解几乎是不可能的。因此，我们采用一种迭代的优化算法——梯度下降法。这个方法非常直观：想象你正站在一座山坡上，想要最快地到达谷底。你每一步都会选择当前位置最陡峭的下坡方向走一小步。在数学上，“最陡峭的下坡方向”正是成本函数梯度的反方向。

因此，梯度下降的权重更新规则是：

$w(n+1)=w(n)+Δw(n)=w(n)−ηg(n)w^{(n+1)} = w^{(n)} + \Delta w^{(n)} = w^{(n)} - \eta g^{(n)}$

其中， $g(n)=∇E(w(n))g^{(n)} = \nabla E(w^{(n)})$ 是成本函数在当前权重 $w^{(n)}$ 处的梯度向量。这里的学习率 $η\eta$ 必须设置得足够小，如果步子迈得太大，可能会直接“跨过”谷底，导致算法不稳定甚至发散。

一个深刻的发现是，当我们把梯度下降法应用到最简单的线性回归模型上时，其最终推导出的权重更新规则与感知机学习算法的形式完全一样。这揭示了一个根本性的统一：早期基于直觉的感知机学习规则，实际上是更普适的梯度下降优化原理在一个特定场景下的体现。这个发现将机器学习从一系列零散的技巧，提升到了一个有坚实数学理论支撑的系统性学科。

第二章：当线性不再万能——多层感知机（MLP）的崛起

2.1 单层感知机的“阿喀琉斯之踵”

感知机的提出在当时引起了巨大的轰动，人们一度认为通向人工智能的大门已经敞开。然而，很快它的一个致命缺陷就被揭示出来，这个缺陷几乎导致了神经网络研究的第一次“寒冬”。这个缺陷可以用一个经典问题来概括：异或问题（XOR Problem）。

一个单层感知机，无论其权重如何调整，它在二维空间中能画出的决策边界永远是一条直线。对于“与”（AND）或“或”（OR）这样的问题，数据点是线性可分的，一条直线足以将它们分开。但是对于“异或”（XOR）问题，其数据点分布如下：

(0,0) -> 0
(0,1) -> 1
(1,0) -> 1
(1,1) -> 0

我们无论如何也无法用一条直线将两类点完美分开。这个看似简单的问题，暴露了单层感知机的根本局限性：它只能解决线性可分的问题。对于现实世界中大量存在的非线性问题，它束手无策。这个发现给当时火热的AI研究泼了一盆冷水，许多研究者因此放弃了神经网络这条技术路线。

2.2 维度的飞跃：隐藏层的魔力

要打破线性的桎梏，就需要引入更强大的结构。1986年，以大卫·鲁梅尔哈特（David Rumelhart）为首的一批研究者重新提出了多层感知机（Multilayer Perceptron, MLP），并为其配备了强大的训练算法，从而彻底解决了单层感知机的局限性。

MLP与单层感知机的核心区别在于，它在输入层和输出层之间增加了一层或多层神经元，这些中间层被称为隐藏层（Hidden Layers）。正是这些隐藏层，赋予了MLP处理非线性问题的神奇能力。

隐藏层的“魔力”在于，它对原始的输入空间进行了一次非线性变换，将其映射到了一个新的、更高维度的特征空间。在这个新的特征空间里，原来线性不可分的问题，可能就变得线性可分了。

以XOR问题为例，通过一个精心设计的、包含两个神经元的隐藏层，可以将四个原始输入点映射到新的特征空间中，使得它们可以用一条直线轻易分开。这个过程就像是，你有一堆红豆和绿豆混杂地平铺在桌面上，无法用一把直尺将它们分开。但如果你有办法让红豆“浮”起来，而绿豆保持不动，那么从侧面看，它们就变得可以轻易分开了。隐藏层扮演的，正是这个让数据“浮”起来，进行维度变换的角色。

2.3 知识的传播：反向传播 (Backpropagation)

拥有了更强大的MLP结构，下一个挑战是如何有效地训练它。对于一个包含多个隐藏层的网络，我们如何知道每一层的每一个权重应该如何调整，才能使最终的输出误差最小化？答案就是大名鼎鼎的反向传播（Backpropagation, BP）算法。

反向传播本质上仍然是梯度下降法，但它巧妙地解决了在深层网络中计算梯度的难题。其过程可以分为两个阶段：

前向计算（Forward Computation）：输入信号从输入层开始，逐层向前传播，经过每一层神经元的加权求和与激活函数处理，最终在输出层得到网络的预测结果 $y$ 。
反向传播（Backward Computation）：计算过程从网络的最后一层开始。我们首先计算输出层的误差信号 $e = d - y$ ，因为只有在这一层，我们才直接知道期望输出 $d$ 和实际输出 $y$ 。然后，这个误差信号会像涟漪一样，依据链式法则，从后向前逐层传播。每一层的神经元都会根据后一层传回的误差信号，计算出自己对总误差的“贡献”或“责任”，并据此更新自己的连接权重。这个“从后向前”计算和传播误差的过程，就是“反向传播”这个名字的由来。它高效地计算出了成本函数对网络中每一个权重的梯度，使得我们可以用梯度下降法来训练任意深度的神经网络。

反向传播算法的重新发现和普及，是神经网络研究得以复兴的决定性事件，它为后来深度学习的爆发铺平了道路。

2.4 万能的逼近者

MLP的强大之处不仅在于它能解决XOR问题，理论研究已经证明，一个包含足够多神经元的单隐藏层MLP，可以以任意精度逼近任何有界的连续函数。这被称为通用逼近定理（Universal Approximation Theorem）。

这个定理赋予了MLP极大的威力。它意味着，无论输入和输出之间存在多么复杂的非线性映射关系，只要这个关系是连续的，MLP在理论上都有能力去学习和模拟它。这解释了为什么MLP能够同时胜任复杂的分类任务（学习非线性的决策边界）和回归任务（拟合非线性的数据曲线），成为一个名副其实的“万能函数逼近器”^。

第三章：MLP实战指南——如何设计与训练你的神经网络

理论上的“万能”并不意味着在实践中可以随意使用。设计和训练一个高效的MLP网络，更像是一门经验与直觉指导下的艺术。以下是一些从实践中总结出的关键设计准则。

3.1 架构之思 (Architecture)

应该用多少个隐藏层？通用逼近定理告诉我们，一个隐藏层在理论上就足够了。在许多实际问题中，单隐藏层网络确实能取得不错的效果。然而，当目标函数可以被清晰地分解为多个子函数时，使用两个或更多的隐藏层可能会更优。更深的网络结构有时可以用更少的总神经元数量来表达同样复杂的函数，从而提高模型的参数效率。

每层应该用多少个神经元？这是一个更具挑战性的问题，没有固定的公式。但我们可以从一个直观的角度出发：对于一个简单的二维回归问题，我们可以观察目标函数的几何形状，估算需要多少条“线段”才能近似地拟合它。这个“线段”的数量，就可以作为隐藏层神经元数量的一个很好的初始猜测。

例如，一个呈现“V”字形的函数，可能用两个神经元就足够了；而一个呈现“M”或“W”形状的函数，则可能需要三个或四个。对于更高维的问题，这个方法虽然不再直接适用，但其核心思想——用最少的组件来构建目标——仍然是指导我们选择网络复杂度的重要原则。

3.2 激活函数的抉择 (Activation Functions)

激活函数为神经网络引入了至关重要的非线性。不同的激活函数适用于不同的场景：

隐藏层：双曲正切函数（tanh或tansig）是首选。它的输出范围在-1到1之间，均值接近于0，这有助于下一层网络更稳定地学习。
输出层：对于分类问题，特别是二分类，逻辑S型函数（sigmoid或logsig）很常用，因为它能将输出压缩到0和1之间，方便解释为概率。对于回归问题，通常使用线性激活函数（purelin），因为它不会限制输出的范围，允许模型预测任意大小的数值。

3.3 数据预处理的重要性 (Data Preprocessing)

“垃圾进，垃圾出”（Garbage in, garbage out）是机器学习领域的金科玉律。在将数据送入MLP之前，进行适当的预处理至关重要。最关键的一步是归一化（Normalization）：将所有的输入变量缩放到相似的范围内，例如-1到1，并确保它们的均值接近于0。这可以防止某些数值范围较大的特征在训练中占据主导地位，使得梯度下降过程更平稳、收敛速度更快。

3.4 避免“过拟合” (Overfitting)

过拟合是训练复杂模型时最常遇到的问题之一。它指的是模型在训练数据上表现完美，甚至连数据中的噪声都学到了，但在从未见过的新数据（测试数据）上表现很差的现象。这就像一个学生只会死记硬背课本上的例题，一旦考试题型稍有变化就束手无策。一个过于复杂的MLP（神经元过多）在数据量不足时，很容易产生过拟合，拟合出一条极其曲折、不平滑的函数曲线。

处理过拟合的常用方法是正则化（Regularization）。其核心思想是在原始的成本函数 $E_D$ （数据误差）基础上，增加一个惩罚项 $E_w$ ，该惩罚项与网络权重的大小正相关。新的总成本函数变为：

$E_D + \lambda E_w$

其中 $λ\lambda$ 是正则化系数，控制着惩罚的强度。这个惩罚项会“劝阻”网络学习到过大的权重值，从而迫使它找到一个更“简单”、更“平滑”的解。一个更平滑的函数通常具有更好的泛化能力，因为它对输入数据的微小扰动不那么敏感。

第四章：MLP的辉煌战绩——当算法走进现实世界

理论的优雅最终需要通过实践来证明。MLP作为通用函数逼近器的强大能力，在与大规模模拟技术结合后，于机器人学等前沿领域取得了令人瞩目的成就。

4.1 赋予机器人生命 (ANYmal Robot)

在2019年发表于《科学·机器人学》的一项研究中，研究人员展示了如何仅通过MLP来控制ANYmal四足机器人完成复杂的运动任务。这项工作的核心突破在于，他们构建了一个包含MLP的控制策略，并完全在模拟环境中对其进行训练。这个MLP学会了如何精确控制机器人的每一个关节，以应对复杂的物理动态。令人惊叹的是，这个在虚拟世界中训练好的策略，无需任何修改，就可以直接部署到真实的机器人上，使其能够以前所未有的速度和精度行走、奔跑，甚至在摔倒后能自主地站起来。

4.2 灵巧的操控 (马戏团球操控)

另一项发表于ICRA 2021的研究展示了MLP在精细操控任务上的潜力。研究中，一个四足机器人学会了一项极具挑战性的任务：用它的四条腿来平衡并旋转一个马戏团球，使其保持在特定的转速上。这项任务要求控制器对微小的动态变化有极其精准的感知和响应。同样，控制机器人“大脑”的MLP也是在模拟环境中通过深度强化学习训练出来的，它学会了如何协调四条腿的复杂动作，以实现这种高难度的灵巧操控。

4.3 巅峰之作 (OpenAI解魔方)

2019年，OpenAI展示了一项里程碑式的工作：一个由MLP控制的机械手学会了单手解魔方。这项任务的难度远超之前的运动控制，它不仅需要极高的灵巧性，还需要一定的逻辑推理能力。OpenAI的成功秘诀在于一种被称为“域随机化”的训练方法：他们在模拟环境中创建了成千上万个略有不同的虚拟世界，在这些世界里，魔方的重量、摩擦力、机械手的物理特性等都存在随机变化。通过在如此多样化的环境中进行训练，MLP学会了一个极其鲁棒的策略，使其不仅能在现实世界中成功解魔方，甚至还能抵抗外界的干扰，例如用笔去戳它的手指。

这三个例子共同揭示了一个现代AI研究的核心范式：“从模拟到现实”（Sim2Real）。MLP是那个强大的、可学习的“大脑”，而大规模、可并行、低成本的模拟环境，则为这个“大脑”提供了一个可以进行海量试错、积累“成千上万年经验”的虚拟宇宙。正是这种“大脑”与“宇宙”的结合，才使得MLP能够解决现实世界中那些极其复杂的、难以用传统方法建模的控制问题。

第五章：MLP的“四重烦恼”——为什么我们需要更先进的模型？

尽管MLP取得了巨大的成功，但它并非万能的。它的通用性既是其优点，也带来了根本性的局限。这些局限性催生了后续更先进、更专门化的神经网络架构。

5.1 遗忘的过去 (缺乏时序建模能力)

MLP的结构是前馈的，信息只能单向从输入层流向输出层。这意味着它在处理每一个输入时都是独立的，完全没有关于过去输入信息的“记忆”。对于像时间序列预测、自然语言处理或视频分析这类任务，上下文信息至关重要。例如，要理解一句话中某个词的含义，必须结合它前面出现的词。MLP这种“健忘”的特性，使其天生不适合处理任何形式的序列数据。

5.2 结构的盲视 (处理高维结构化数据的低效)

当面对像图像这样的高维结构化数据时，MLP要求我们将二维的像素矩阵“展平”（flatten）成一个一维的长向量再作为输入。这个简单的操作却会带来灾难性的后果：它彻底破坏了数据中宝贵的空间结构信息。原本相邻的像素在展平后的向量中可能相距甚远，网络失去了“像素A在像素B旁边”这一关键信息。

此外，这也导致了参数的爆炸式增长。例如，一张仅为 256×256 的灰度图，其输入层神经元数量就高达65,536个。如果第一个隐藏层有100个神经元，那么仅这一层就需要超过650万个权重参数，这使得模型极难训练且容易过拟合。

5.3 先验的缺失 (归纳偏置薄弱)

上述两个问题的根源，可以归结为一个更理论化的概念：归纳偏置（Inductive Bias）。归纳偏置指的是一个学习模型在设计时被赋予的，关于问题解的“先验假设”或“偏好”。一个好的归纳偏置能极大地缩小模型的搜索空间，使其更高效地学习。MLP的归纳偏置非常薄弱，它几乎是一个“白板一块”（blank slate）的学习器，对数据的内在结构没有任何先验假设。

它不知道图像具有平移不变性（一只猫无论在图片左边还是右边，都还是一只猫），也不知道文本具有时序依赖性。它必须从零开始，通过海量的数据来费力地学习这些本应是常识的规律，这导致其数据效率极低。

5.4 难解的“黑箱” (可解释性差)

随着网络层数和神经元数量的增加，大型MLP变成了一个不透明的“黑箱”。我们很难理解它做出某个具体决策的原因。它的内部决策逻辑被编码在数百万个错综复杂的权重值中，无法为人类所理解。在金融、医疗、自动驾驶等高风险关键领域，这种不可解释性是一个巨大的障碍，因为它让我们无法信任模型的决策，也无法在模型出错时进行有效的调试和修正。

第六章：超越MLP——现代神经网络的“三驾马车”

为了解决MLP的“四重烦恼”，研究者们开发出了一系列具有更强归纳偏置的专门化架构。其中，RNN、CNN和Transformer构成了现代深度学习的“三驾马车”。

6.1 引入“记忆”：循环神经网络 (RNN)

为了解决MLP无法处理序列数据的问题，循环神经网络（Recurrent Neural Network, RNN）被设计出来。RNN的核心在于其“循环”结构：它允许信息在网络内部持续存在。具体来说，一个RNN单元在处理当前时间步的输入时，不仅会接收来自外部的输入，还会接收来自上一个时间步自身的隐藏状态输出。

这个循环连接创造了一个“记忆”机制。隐藏状态就像一个动态的摘要，它编码了到当前时间步为止的所有历史信息，并将其传递给下一个时间步。这使得RNN能够捕捉到序列数据中的时间依赖关系。

例如，在机器人控制中，一个基于RNN的策略可以通过分析过去几秒钟的传感器读数历史（即“记忆”），来判断机器人当前所处的环境状态（如地面是硬还是软），并做出相应的步态调整，从而在复杂地形上实现更鲁棒的行走。

6.2 聚焦“局部”：卷积神经网络 (CNN)

为了高效处理图像等网格状数据，卷积神经网络（Convolutional Neural Network, CNN被发明出来。CNN通过两个关键设计，巧妙地将关于图像的先验知识（归纳偏置）融入了网络结构中：

局部感受野（Local Receptive Fields）：CNN不像MLP那样将每个神经元与输入图像的所有像素全连接。相反，它使用小的“滤波器”（或称“卷积核”），每次只观察图像的一个局部小块（例如 3×3 或 5×5 的像素区域）。这些滤波器被设计用来检测特定的局部特征，如边缘、角点、纹理等。这基于一个强烈的先验假设：有意义的视觉特征通常是局部的。
权重共享（Weight Sharing）：同一个滤波器会在整张图片上滑动，扫描所有位置。这意味着，用于检测图片左上角水平边缘的权重，与用于检测右下角水平边缘的权重是完全相同的。这极大地减少了模型的参数数量，并赋予了网络平移不变性的特性。

通过逐层堆叠卷积层和池化层，CNN能够从底层的简单特征（如边缘）逐步构建出更高级、更抽象的特征（如物体的部件，乃至整个物体），形成一个强大的特征层级体系。在机器人视觉中，CNN是处理摄像头、激光雷达等感知输入的标准工具，帮助机器人理解周围环境，识别障碍物和可通行区域。

6.3 抓住“重点”：注意力机制与Transformer

RNN虽然引入了记忆，但其通过单一隐藏状态向量来压缩所有历史信息的方式，在处理长序列时会遇到瓶颈，容易遗忘早期的重要信息。注意力机制（Attention Mechanism的提出，正是为了解决这个问题。注意力机制的核心思想是，在生成输出的每一步，模型不应平等地看待输入序列的所有部分，而应“集中注意力”于当前任务最相关的部分。

以翻译句子“The cat sat on the mat because it was tired”为例，当要翻译代词“it”时，模型需要知道“it”指代的是“cat”而不是“mat”。注意力机制允许模型在处理“it”时，直接回头查看输入序列中的所有词，并动态地计算出“cat”这个词对当前翻译的贡献权重最大，从而将注意力聚焦于此。

Transformer模型则将注意力机制的威力发挥到了极致。它完全摒弃了RNN的循环结构，完全基于一种名为“自注意力”（Self-Attention）的机制。自注意力允许输入序列中的每一个元素，都直接与其他所有元素计算关联度，从而捕捉序列内部任意两个位置之间的依赖关系，无论它们相距多远。通过堆叠多个“多头注意力”（Multi-Head Attention）层，Transformer能够并行地从不同角度捕捉丰富的上下文信息，在自然语言处理、计算机视觉乃至机器人控制等多个领域都取得了革命性的突破。

第七章：打开“黑箱”——通往可解释AI的探索之路

从简单的感知机到强大的Transformer，我们看到模型的性能在飞速提升，但其内部工作原理也变得越来越难以捉摸。解决深度学习的“黑箱”问题，构建可信、可解释的AI，已成为该领域最重要的前沿方向之一。

7.1 智能即压缩

一种新兴的理论视角认为，智能的核心过程之一是压缩。一个智能体需要将高维、复杂、充满冗余的感官输入，压缩成一个低维、简洁、稀疏的内在表示（representation），这个表示抓住了数据中最本质的结构和规律。

基于这一思想，研究者提出了一种名为“稀疏率降低”（Sparse Rate Reduction）的数学目标。这个目标旨在通过一个深度网络 $f (X)$ ，将输入数据 $X$ 变换为一个特征表示 $Z$ ，并同时优化两个指标：

压缩（Compression）：使得 $Z$ 的分布尽可能简单，例如接近一个由少数几个高斯分布混合而成的模型。
稀疏（Sparsity）：使得 $Z$ 向量中的大部分元素都为零。

7.2 白盒Transformer (White-Box Transformer)

传统的Transformer虽然强大，但其自注意力矩阵和中间表示层都非常稠密，难以解释。白盒Transformer是一种前沿的尝试，它旨在通过优化上述的“稀疏率降低”目标，来构建一个内在可解释的Transformer模型。

其核心思想是通过一个迭代过程，交替进行压缩和稀疏化两个步骤：

压缩步：使用一种改进的多头自注意力机制（MSSA），将信息压缩到更低的子空间中。
稀疏化步：通过一种名为ISTA的算法，对压缩后的表示进行处理，强制使其变得稀疏，即大部分不重要的特征值变为零。

通过在网络的每一层都执行这个过程，白盒Transformer能够学到一个层次化的、稀疏的特征表示。因为表示是稀疏的，我们就可以更容易地分析出哪些输入特征对最终的决策起到了关键作用，从而打开了模型的“黑箱”。

7.3 应用展望

将这种可解释的AI模型应用于机器人技术，是极具前景的研究方向。初步实验显示，在训练机器人进行运动控制时，白盒Transformer网络在不同层级上确实学到了稀疏的特征表示。这意味着我们未来或许能够精确地知道，机器人在做出“向左拐”这个决策时，它究竟是“看到”了哪个障碍物，又是“感受”到了哪个关节的压力。这将极大地提升复杂自主系统的安全性、可靠性和可信度。