深度学习-数值稳定性、分布偏移

apocalypsx

1084人浏览 · 2025-10-06 09:34:41

apocalypsx · 2025-10-06 09:34:41 发布

本章包含两个部分，分别解决数值稳定性问题和分布偏移问题。由于书中这两个部分均为理论没有实验，这里就先只进行简单分析，将两部分内容合并编写。

数值稳定性

基本原理

数值稳定性是指算法对舍入误差的敏感性。在算法执行过程中，舍入误差会逐渐积累。对于同一个计算问题，不同算法中舍入误差对计算结果的影响各不相同。舍入误差对计算结果精确性影响小的算法，具有较好的数值稳定性；反之，算法的数值稳定性差。神经网络中的数值稳定性主要体现在各层梯度值的稳定性，由于参数的更新依靠其梯度，所以梯度数值过大或者过小会导致模型无法稳定收敛或者停止更新，这些往往发生在网络较深的情况。

梯度消失

当激活函数选取不当时可能导致梯度消失问题。前面章节所用的激活函数ReLU在数值大于0时能够保留原始数值，从而保持了梯度的稳定；相反如果我们使用激活函数sigmoid通常容易导致梯度消失，因为该函数将所有值映射到01空间，且只有位于0附近时梯度明显，其他位置的梯度都非常接近0。根据链式求导法则进行累乘，这会导致反向传播时越靠近输入层的参数梯度越小，甚至发生下溢出，最后模型几乎不会更新。

梯度爆炸

参数初始化不合理时，容易导致梯度爆炸问题。先不考虑非线性层，神经网络可以看做输入与许多参数矩阵的累乘，这些参数如果初始化不当将导致输出结果非常大，这同样意味着反向传播时会产生非常大的梯度矩阵，从而导致模型无法收敛。我们可以通过合适的初始化方法使每一层的输入与输出的方差一致，间接保证梯度的稳定。设输入方差为 $\gamma^2$ ，参数方差为 $\sigma^2$ ，每一层的输入输出关系以及输出的方差如下所示（下式中乘积的期望等于期望的乘积基于独立同分布假设 w和x相互独立）

$o_{i} = \sum_{j=1}^{n_\mathrm{in}} w_{ij} x_j.$

根据输出方差不变有 $n_{in}\sigma^2=1$ ，同理在反向传播时输入与输出位置调换，有 $n_{out}\sigma^2=1$ 。由于同时满足这两个条件很困难，所以有更宽松的条件：

$\begin{aligned} \frac{1}{2} (n_\mathrm{in} + n_\mathrm{out}) \sigma^2 = 1 \text{ or } \sigma = \sqrt{\frac{2}{n_\mathrm{in} + n_\mathrm{out}}}. \end{aligned}$

也就是Xvier初始化，通常Xavier初始化从均值为零，方差为 $\sigma^2 = \frac{2}{n_\mathrm{in} + n_\mathrm{out}}$ 的高斯分布中采样权重。我们也可以将其改为选择从均匀分布中抽取权重时的方差，注意均匀分布 $U(-a, a)$ 的方差为 $\frac{a^2}{3}$ ，因此有如下均匀分布

$U\left(-\sqrt{\frac{6}{n_\mathrm{in} + n_\mathrm{out}}}, \sqrt{\frac{6}{n_\mathrm{in} + n_\mathrm{out}}}\right).$

通过选择合适的激活函数和参数初始化方法，我们就能从非线性和线性两部分维持数值稳定。

分布偏移

基本原理

分布偏移（Distribution Shift）是指训练数据和实际应用中（测试数据或实际数据）之间的概率分布发生变化的现象。这种不匹配可能导致模型在测试集上的表现下降，因为模型在训练时学习到的特征在测试时可能不再适用。分布偏移包含三种类型，即协变量偏移、标签偏移和概念偏移。其中协变量偏移由输入数据分布变化导致，标签偏移由数据的标签分布变化导致，概念偏移则指标签与数据的对应关系发生了变化。

协变量偏移

所谓协变量就是指输入数据x，因为在神经网络中我们真正能控制的变量是参数w，输入x的变化虽然对结果造成影响，但不是由我们直接控制的，因此称为协变量。协变量偏移就是在条件概率p(y|x)不变的情况下x的分布p(x)发生了偏移。而p(y|x)不变通常意味着从x到y的映射关系不变。由于x的分布在很多情况下发生变化后无法直接验证P(y|x)是否不变（例如部分照片图像变成卡通图片），因此书中说“我们认为x导致y的情况下，协变量偏移是一种自然假设”。

对于损失函数的期望，我们有如下推导

$E_{p(\mathbf{x}, y)} [l(f(\mathbf{x}), y)] = \int\int l(f(\mathbf{x}), y) p(\mathbf{x}, y) \;d\mathbf{x}dy.$

如果我们需要从源分布q(x)纠正为目标分布p(x)，由于条件概率p(y|x)=q(y|x)，有

$\begin{aligned} \int\int l(f(\mathbf{x}), y) p(y \mid \mathbf{x})p(\mathbf{x}) \;d\mathbf{x}dy = \int\int l(f(\mathbf{x}), y) q(y \mid \mathbf{x})q(\mathbf{x})\frac{p(\mathbf{x})}{q(\mathbf{x})} \;d\mathbf{x}dy. \end{aligned}$

$\begin{aligned} \int\int l(f(\mathbf{x}), y) p(\mathbf{x},y)\;d\mathbf{x}dy = \int\int l(f(\mathbf{x}), y) q(\mathbf{x},y)\frac{p(\mathbf{x})}{q(\mathbf{x})} \;d\mathbf{x}dy. \end{aligned}$

因此只需要为每个输入增加一个权重 $\beta_i \stackrel{\mathrm{def}}{=} \frac{p(\mathbf{x}_i)}{q(\mathbf{x}_i)}$ 即可纠正协变量偏移。

接下来讲解这个概率比值怎么求出。首先给两组数据打上标签(如1,-1)，然后训练一个二元分类器用于后续判断输入来自与两组数据的概率，该分类器可用对数几率回归模型，其输出的值h(x)会经过sigmoid变换变为 $\frac{1}{1+e^{-h(x)}}$ ，这也可以看成是softmax函数的特例 $\frac{e^{h(x)}}{e^0+e^{h(x)}}$ ，所以 $p(x_i)=\frac{1}{1+e^{-h(x_i)}}$ ， $q(x_i)=\frac{e^{-h(x_i)}}{1+e^{-h(x_i)}}$ ， $\beta_i=e^{h(x_i)}$ ，这样每个样本的权重就得到了。

标签偏移

标签偏移是在p(x|y)不变的情况下p(y)发生改变。当我们认为y导致x时，标签偏移是一个合理的假设。有时候协变量偏移与标签偏移会同时发生，即x->y与y->x的映射关系均不变时，改变x和y的分布，两者的变化比例会一致。在这些情况下，使用基于标签偏移假设的纠偏方法通常效果更好，因为标签的维度通常比输入的维度低，能更准确地纠正分布偏移。

同样的，通过损失函数期望不变的推导得到标签偏移的纠正方法

$\begin{aligned} \int\int l(f(\mathbf{x}), y) p(\mathbf{x} \mid y)p(y) \;d\mathbf{x}dy = \int\int l(f(\mathbf{x}), y) q(\mathbf{x} \mid y)q(y)\frac{p(y)}{q(y)} \;d\mathbf{x}dy. \end{aligned}$

$\begin{aligned} \int\int l(f(\mathbf{x}), y) p(\mathbf{x},y)\;d\mathbf{x}dy = \int\int l(f(\mathbf{x}), y) q(\mathbf{x},y)\frac{p(\mathbf{y})}{q(\mathbf{y})} \;d\mathbf{x}dy. \end{aligned}$

因此同样为每个输入增加权重 $\beta_i \stackrel{\mathrm{def}}{=} \frac{p(y_i)}{q(y_i)}$ 。这里q(y)来自源数据集，分布是已知的，而p(y)是真实数据集(测试集)，其真实标签分布未知。但是我们知道模型在验证集上输出的标签的边缘分布为μ(y)，混淆矩阵为C(cij表示预测为i类实际为j类的概率)，两个分布可以通过下式联系起来