1. 从经验风险最小化到有效推断：一个实践者的视角

在机器学习项目中，我们常常会问自己一个核心问题：我训练出的这个模型，它的参数到底有多可靠？我们通过最小化训练集上的损失函数（即经验风险最小化，ERM）得到了一个参数估计值，比如逻辑回归的权重向量或神经网络的连接权重。这个值在训练集上表现很好，但它离我们假设存在的那个“真实”最优参数（即在整个数据分布上风险最小的参数）有多远？传统的统计推断方法，比如基于最大似然估计的渐近正态性来构建置信区间，往往依赖于一些在复杂机器学习模型中难以满足的强假设，例如模型完全正确指定、数据独立同分布且来自某个参数化分布族。在实际的工程场景中，尤其是在处理高维数据、复杂模型（如深度网络）或分布偏移问题时，这些假设显得过于理想化。因此，我们需要一种更稳健、对模型和数据分布假设更宽松的推断框架。这正是近年来统计机器学习领域一个备受关注的方向：为机器学习模型参数构建有限样本有效的置信集。其核心思想是，不依赖于渐近理论或强分布假设，而是利用模型本身的“学习能力”——具体来说，是 均匀收敛性 ——来保证推断的有效性。这就像是为模型的“寻优”过程安装了一个可靠的导航系统，不仅能告诉你现在的位置（参数估计值），还能清晰地标出这个位置可能存在的误差范围（置信集），而且这个误差范围的计算不依赖于对未知地形的强假设。

2. 核心概念拆解：ERM、均匀收敛与置信集

2.1 经验风险最小化（ERM）的局限与本质

经验风险最小化是机器学习模型训练的基石。给定一个假设空间 $\mathcal{H}$（例如所有可能的神经网络架构和权重组合）和一个损失函数 $l$，ERM 的目标是找到一个参数 $\hat{\theta} n$，使得在 $n$ 个独立同分布的训练样本 $Z_1, ..., Z_n$ 上计算的平均损失（经验风险）最小： $$\hat{\theta} n \in \arg\min {\theta \in \Theta} \frac{1}{n}\sum {i=1}^{n} l(\theta, Z_i)$$ 而我们真正关心的是期望风险 $R(\theta) = \mathbb{E}[l(\theta, Z)]$，以及其最小化器 $\theta_0$。ERM 的原理是用经验风险去近似期望风险。这里的关键在于，$\hat{\theta}_n$ 是 $\theta_0$ 的一个点估计。然而，仅仅有点估计是不够的。我们想知道，如果换一批数据重新训练，得到的 $\hat{\theta}_n'$ 会变化多大？$\theta_0$ 落在以 $\hat{\theta}_n$ 为中心的哪个范围内？这就是不确定性量化，而置信集正是为此而生。一个 $(1-\alpha)$ 水平的置信集 $C_n$ 满足 $P(\theta_0 \in C_n) \geq 1-\alpha$，无论真实的数据分布 $P$ 是什么（只要满足某些基本条件）。传统方法构建 $C_n$ 通常需要知道 $\hat{\theta}_n$ 的抽样分布，这又回到了对模型和分布的强假设上。

注意 ：在实践中，很多人误将测试集上的性能波动区间等同于参数的不确定性区间。这是两个不同的概念。前者反映了模型预测对于新数据的波动，后者反映了我们对模型本身“结构”（即参数）的认知不确定性。例如，一个深度模型可能在测试集上准确率稳定在95%±1%，但其权重参数的可能取值范围（置信集）可能非常广，这意味着存在许多套不同的权重都能达到类似的预测效果，模型的可解释性和稳定性可能存疑。

2.2 均匀收敛性：连接经验与期望的桥梁

均匀收敛性是统计学习理论的核心，也是实现有限样本有效推断的关键。它要求，对于假设空间 $\mathcal{H}$ 中的所有函数（由参数 $\theta$ 索引），经验风险都能一致地收敛到期望风险。更形式化地说，如果存在一个函数 $\phi_n(\delta)$（通常依赖于样本数 $n$ 和置信水平 $\delta$），使得以至少 $1-\delta$ 的概率，对于所有 $\theta \in \Theta$，都有： $$\sup_{\theta \in \Theta} |R_n(\theta) - R(\theta)| \leq \phi_n(\delta)$$ 其中 $R_n(\theta)$ 是经验风险。那么，我们就称该假设空间具有均匀收敛性，$\phi_n(\delta)$ 称为均匀收敛界。

这个性质为什么如此重要？因为它将整个假设空间上的“近似误差”控制住了。这意味着，我们不必单独分析最优解 $\theta_0$ 和 $\hat{\theta}_n$ 处的风险差异，而是可以保证，在同一个概率事件下（即均匀收敛事件发生）， 所有 参数的经验风险都是其期望风险的良好近似。这就为我们基于经验风险来对期望风险及其最小化器进行推断，提供了统一的、非渐近的保证。VC维、Rademacher复杂度等概念，都是用来推导或度量 $\phi_n(\delta)$ 的工具。

2.3 ε-近似ERM与有效置信集的构建

直接基于ERM解 $\hat{\theta}_n$ 构建置信集是困难的。一个更巧妙且稳健的思路是考虑所有“近似”最小化经验风险的参数。定义 ε-近似经验风险最小化（ε-AERM）集合为： $$ \hat{\Theta}_n^{\epsilon} = { \theta \in \Theta: R_n(\theta) \leq R_n(\hat{\theta}_n) + \epsilon } $$ 这个集合包含了所有经验风险不超过最优经验风险 $\epsilon$ 以内的参数。

现在，利用均匀收敛性，我们可以建立以下关系：在均匀收敛事件（发生概率至少 $1-\delta$）下，对于所有 $\theta \in \Theta$，有 $R_n(\theta) - \phi_n(\delta) \leq R(\theta) \leq R_n(\theta) + \phi_n(\delta)$。那么，对于 $\theta_0$，我们有 $R_n(\theta_0) \leq R(\theta_0) + \phi_n(\delta)$。同时，由于 $\theta_0$ 最小化 $R(\theta)$，对于任何 $\theta$ 包括 $\hat{\theta}_n$，有 $R(\theta_0) \leq R(\theta)$。通过一系列不等式推导（核心是将均匀收敛界与风险关系结合），可以证明，如果选择 $\epsilon \geq 2\phi_n(\delta)$，那么 $\theta_0$ 以至少 $1-\delta$ 的概率落在 $\hat{\Theta}_n^{\epsilon}$ 中。

因此， $\hat{\Theta}_n^{\epsilon}$ 本身就可以作为一个有效的 $(1-\delta)$ 置信集 。它的美妙之处在于：

1. 有限样本有效 ：结论对任意有限样本 $n$ 都成立，不依赖于 $n \to \infty$ 的渐近性质。
2. 假设宽松 ：只需要假设假设空间满足均匀收敛性，对数据生成分布 $P$ 几乎没有额外假设（除了i.i.d.）。
3. 构造直接 ：置信集直接从训练过程和损失函数计算中得到，概念清晰。

当然，这个集合可能很大，尤其是当 $\epsilon$ 较大或模型复杂度高时。这就是它“保守”的一面。但它的有效性是确凿的，为我们提供了一个安全的、无需过多假设的推断起点。

3. 均匀收敛性的实践考量与边界估计

3.1 如何判断与获得均匀收敛界

理论上的均匀收敛性是一回事，在实践中如何获取或估计 $\phi_n(\delta)$ 是另一回事。对于经典的模型，理论界可能已知。

1. 基于复杂度的理论界 ：对于VC维有限的假设空间（如有限维线性分类器），有形式如 $\phi_n(\delta) = O(\sqrt{VC/n + \ln(1/\delta)/n})$ 的界。对于Rademacher复杂度，可以通过对数据重采样来估计。例如，计算： $$\hat{\mathfrak{R}} n(\mathcal{H}) = \mathbb{E} {\sigma}[\sup_{\theta \in \Theta} \frac{1}{n}\sum_{i=1}^n \sigma_i l(\theta, Z_i)]$$ 其中 $\sigma_i$ 是独立同分布的 Rademacher 随机变量（取+1或-1的概率各半）。然后可以使用 $\hat{\mathfrak{R}}_n(\mathcal{H}) + \sqrt{\ln(2/\delta)/(2n)}$ 作为 $\phi_n(\delta)$ 的一个上界估计。在实践中，我们可以通过蒙特卡洛模拟，多次随机生成 $\sigma$ 并计算内层的上界（这本身是一个优化问题，可能需要近似求解），来估计 Rademacher 复杂度的期望。

2. 数据驱动的边界估计 ：对于复杂的深度网络，理论VC界可能过于宽松而无用。一种更实用的思路是采用 数据驱动 的方法来获得一个更紧的、适用于当前数据和模型的 $\phi_n(\delta)$ 估计。例如，可以使用部分数据（或通过自助法Bootstrap）来模拟经验风险的波动。具体步骤可以是：

   • 从原始数据中随机抽取多个（如B次）规模为 $n$ 的自助样本。
   • 对每个自助样本，计算其经验风险函数 $R_n^b(\theta)$。
   • 对于一组预先选定的“锚点”参数 ${\theta_k}$（可以是随机采样，或是从训练轨迹中选取），计算 $\sup_{\theta_k} |R_n^b(\theta_k) - R_n(\theta_k)|$ 在所有自助样本上的 $(1-\delta)$ 分位数，作为 $\phi_n(\delta)$ 的一个经验估计。
   • 这种方法虽然牺牲了严格的有限样本保证（因为Bootstrap理论通常是渐近的），但在实践中往往能给出更合理的边界，尤其适用于验证均匀收敛性是否“大致”成立。

实操心得 ：在处理现代机器学习模型时，直接套用最坏情况下的理论均匀收敛界（如基于VC维的界）来构建置信集，通常会导致集合 $\hat{\Theta}_n^{\epsilon}$ 大到失去实用价值。我的经验是，首先尝试使用基于Rademacher复杂度的估计，因为它与数据分布相关，通常更紧。如果计算开销允许，结合数据驱动的Bootstrap方法进行边界校准，可以在保证一定可靠性的前提下，获得更实用的置信集。记住，这里的核心目标是获得一个有效的、非渐近的推断工具，而不是追求最紧的界。

3.2 当均匀收敛性不满足时

原文指出，如果模型缺乏均匀收敛性，基于ERM的推断可能完全无法进行。这在实践中意味着什么？一个典型的例子是 过度参数化的深度学习模型 ，其假设空间极其庞大，以至于在有限样本下，经验风险可以轻易地被驱动到零（过拟合），但期望风险却可能很高。此时，$\sup_{\theta \in \Theta} |R_n(\theta) - R(\theta)|$ 可能非常大，无法被一个随着样本增大而趋于零的函数 $\phi_n(\delta)$ 所控制。

在这种情况下，基于 $\epsilon$-AERM 的置信集构建方法失效。此时，我们必须引入额外的 归纳偏置 或 正则化 来约束假设空间，使其恢复均匀收敛性。例如：

• 显式正则化 ：在损失函数中加入L1/L2正则项，这等价于在了一个更小的、复杂度可控的参数子空间上进行搜索。
• 隐式正则化 ：如使用早期停止、小批量梯度下降的随机性、特定的网络架构（如卷积神经网络的平移不变性）等，这些在实践中被证明能有效控制模型复杂度，尽管其理论上的均匀收敛性分析可能很复杂。
• 转移到可学习的子空间 ：不直接对原始大参数空间做推断，而是对某个低维的、具有均匀收敛性质的函数类（例如，通过随机特征映射后的线性模型）进行推断。

因此，均匀收敛性不仅是一个理论工具，也是一个 模型是否适合进行有限样本统计推断的试金石 。在项目初期，评估模型（或其核心组件）是否满足某种形式的均匀收敛性，应成为不确定性量化工作流的一部分。

4. 置信集的计算、可视化与应用

4.1 计算ε-AERM置信集

对于参数空间 $\Theta$ 是高维甚至连续的情况，精确描述和计算集合 $\hat{\Theta}_n^{\epsilon} = {\theta: R_n(\theta) \leq R_n(\hat{\theta}_n) + \epsilon}$ 是一个挑战。我们无法枚举所有点。实践中，通常采用以下策略：

1. 采样与优化（MCMC/Sampling） ：我们可以将 $\hat{\Theta}_n^{\epsilon}$ 视为一个高维空间中的区域，并利用马尔可夫链蒙特卡洛方法从该区域中采样。定义一个新的“能量函数” $E(\theta) = \max(0, R_n(\theta) - R_n(\hat{\theta}_n) - \epsilon)$，那么 $\hat{\Theta}_n^{\epsilon}$ 就是 $E(\theta)=0$ 的区域。我们可以使用受约束的MCMC算法（如Hit-and-Run）或更现代的方法如哈密顿蒙特卡洛（HMC）在约束条件下采样。采样得到的点集就近似表征了置信集。

2. 局部近似法 ：在许多情况下，我们可能只关心置信集在最优解 $\hat{\theta}_n$ 附近的局部形状。假设损失函数在 $\hat{\theta}_n$ 处二阶可微，我们可以利用经验风险的海森矩阵 $H_n$ 进行局部二次近似： $$R_n(\theta) \approx R_n(\hat{\theta}_n) + \frac{1}{2} (\theta - \hat{\theta}_n)^T H_n (\theta - \hat{\theta}_n)$$ 那么，$\hat{\Theta}_n^{\epsilon}$ 局部近似为一个以 $\hat{\theta}_n$ 为中心的椭球： $${\theta: (\theta - \hat{\theta}_n)^T H_n (\theta - \hat{\theta}_n) \leq 2\epsilon}$$ 这个椭球的主轴方向由 $H_n$ 的特征向量决定，长度由特征值的倒数和 $\epsilon$ 决定。这提供了对参数不确定性方向和尺度的直观理解。计算海森矩阵或它的近似（如Fisher信息矩阵）对于中等规模模型是可行的。

3. 投影与可视化 ：对于高维参数，直接可视化置信集不可能。我们可以将其投影到我们关心的低维子空间上。例如，关注某两个特定参数 $\theta_i$ 和 $\theta_j$ 的联合置信区域。我们可以通过固定其他参数，或对高维采样点进行二维投影，来获得可视化的置信椭圆或置信区域图。这对于模型可解释性和敏感性分析至关重要。

4.2 在假设检验与模型比较中的应用

构建出参数的置信集后，一个直接的应用是进行假设检验。例如，我们想检验某个科学假设：参数 $\theta$ 的某个子集 $A$（例如，某些特征对应的系数为零）是否包含了真实参数 $\theta_0$，即原假设 $H_0: \theta_0 \in A$。

基于置信集的检验方法非常直观： 如果置信集 $C_n$ 与假设集合 $A$ 不相交，则我们在显著性水平 $\delta$ 下拒绝原假设 。因为如果 $\theta_0$ 真的在 $A$ 中，那么它以高概率 $(1-\delta)$ 也应在 $C_n$ 中；现在 $C_n$ 和 $A$ 没有交集，说明观察到当前数据的事件在 $\theta_0 \in A$ 的假设下是一个小概率事件。

这种方法的美妙之处在于，它绕过了构造检验统计量及其零分布的传统难题。我们只需要计算置信集（这基于均匀收敛性），然后进行几何上的交集判断。这对于复杂的、非线性的假设 $A$ 尤其有用。

模型比较 也可以在此框架下进行。假设我们有两个嵌套的模型，模型 $M_0$ 的参数空间为 $\Theta_0$（例如，线性模型），模型 $M_1$ 的参数空间为 $\Theta_1 \supset \Theta_0$（例如，增加了交互项的非线性模型）。我们可以为更复杂的模型 $M_1$ 在全空间 $\Theta_1$ 上构建一个置信集 $C_n^{(1)}$。然后检查 $C_n^{(1)}$ 是否完全落在子空间 $\Theta_0$ 内。如果是，说明数据没有提供足够的证据支持需要使用更复杂的模型 $M_1$，简单的模型 $M_0$ 已经足够描述数据中与参数相关的不确定性。反之，如果 $C_n^{(1)}$ 有部分落在了 $\Theta_0$ 之外，则支持选择更复杂的模型。

4.3 与贝叶斯后验区间及频率派置信区间的对比

理解这种基于均匀收敛的置信集与经典方法的区别很重要。

• vs. 贝叶斯后验可信区间 ：贝叶斯方法通过引入先验分布和计算后验分布来量化不确定性。后验可信区间（如95%最高后验密度区间）的解释是“给定数据和先验，参数落在此区间内的概率为95%”。这依赖于先验选择的合理性和模型的正确指定。而本文的频率派置信集 $C_n$ 的解释是“在重复抽样中，有95%的概率这个随机集合会覆盖住固定的真实参数 $\theta_0$”。它不依赖于先验，只依赖于模型（假设空间）的均匀收敛性质。当先验信息可靠时，贝叶斯方法可能更高效（区间更窄）；但当先验信息缺乏或存在误设风险时，基于均匀收敛的方法提供了更稳健的保障。
• vs. 基于渐近正态性的频率派置信区间 ：经典方法通常假设估计量 $\hat{\theta}_n$ 满足 $\sqrt{n}(\hat{\theta}_n - \theta_0) \overset{d}{\to} N(0, V)$，然后利用估计的协方差矩阵 $\hat{V}$ 构建椭圆置信区域。这个结论是渐近的，且通常依赖于模型正确指定、损失函数光滑等条件。基于均匀收敛的置信集是 有限样本有效 的，且对模型误设更稳健。当然，它的代价可能是保守性，即区间更宽。

下表总结了三种主要参数不确定性量化方法的核心特点：

特性	基于均匀收敛的置信集	基于渐近正态性的置信区间	贝叶斯后验可信区间
理论保证	有限样本，非渐近	大样本渐近	条件于模型和先验
核心假设	假设空间均匀收敛	估计量渐近正态，模型常需正确指定	先验分布与似然函数模型
计算复杂度	高（常需采样或优化）	低（常闭式解或简单估计）	中到高（常需MCMC）
结果解释	频率派：重复抽样下的覆盖概率	频率派：重复抽样下的覆盖概率（渐近）	贝叶斯：给定当前数据的信念度
稳健性	对模型误设相对稳健	对模型误设敏感	依赖于先验选择，对似然模型误设敏感
典型输出	高维参数集合（可能不规则）	椭圆或矩形区域	概率分布与分位数区间

5. 实操案例：线性回归模型参数置信集构建

让我们通过一个经典的线性回归例子，将上述理论具体化。假设真实数据生成过程为 $Y = X^T \theta_0 + \epsilon$，其中 $\epsilon \sim N(0, \sigma^2)$，但我们 不假设 估计者知道误差是正态的，甚至不假设是同方差的。我们只使用平方损失 $l(\theta, (x,y)) = (y - x^T\theta)^2$，并通过ERM得到最小二乘估计 $\hat{\theta}_{LS}$。

我们的目标是构建一个有限样本有效的置信集 $C_n$，使其以至少90%的概率覆盖 $\theta_0$。

步骤1：确认均匀收敛性 对于有界输入空间和平方损失，线性函数类的Rademacher复杂度是有界的。具体地，若 $||x|| \leq B$，参数空间限制在 $||\theta|| \leq M$ 的球内，则经验Rademacher复杂度 $\hat{\mathfrak{R}}_n \leq \frac{2B^2M}{\sqrt{n}}$。利用McDiarmid不等式等工具，可以得到一个具体的均匀收敛界 $\phi_n(\delta)$。例如，一个可能的形式是 $\phi_n(\delta) = \frac{2B^2M}{\sqrt{n}} + B^2M\sqrt{\frac{\ln(2/\delta)}{2n}}$。这里，我们为了演示，假设通过理论推导或数据驱动方法，确定 $\phi_n(0.1) = 0.05$（即 $\delta=0.1$ 时的边界）。

步骤2：构建ε-AERM集合 计算最小经验风险 $R_n(\hat{\theta} {LS}) = \frac{1}{n}\sum (y_i - x_i^T\hat{\theta} {LS})^2$。 取 $\epsilon = 2\phi_n(0.1) = 0.1$。 则置信集为 $C_n = {\theta: \frac{1}{n}\sum_{i=1}^n (y_i - x_i^T\theta)^2 \leq R_n(\hat{\theta}_{LS}) + 0.1}$。

步骤3：计算与可视化（二维案例） 假设 $\theta = (\theta_1, \theta_2)$ 是二维参数。我们可以通过网格搜索或数值优化来描绘 $C_n$ 的边界。在 $\theta_1-\theta_2$ 平面上定义一个网格，计算每个网格点上的经验风险，然后画出经验风险等于 $R_n(\hat{\theta}_{LS}) + 0.1$ 的等高线，这条等高线内部的区域就是 $C_n$ 的近似。

同时，我们可以画出基于渐近正态理论的95%置信椭圆（假设同方差）：$(\theta - \hat{\theta} {LS})^T (X^TX) (\theta - \hat{\theta} {LS}) \leq \hat{\sigma}^2 \cdot \chi^2_{2, 0.95}$，其中 $\hat{\sigma}^2$ 是残差方差估计。

步骤4：对比与分析 将两个区域画在同一张图上，我们可能会发现：

• 基于均匀收敛的 $C_n$ 区域（可能形状不规则，但大致为椭圆）通常会比渐近置信椭圆 更大 。这体现了其保守性：为了保证有限样本下的覆盖概率，它需要容纳更多可能性。
• 如果误差分布严重偏离正态或存在异方差，渐近置信椭圆的形状和方向可能是有偏的，而 $C_n$ 的形状直接由经验风险的等高线决定，对分布假设不敏感，可能更真实地反映了参数的不确定性。
• 我们可以用 $C_n$ 来检验 $H_0: \theta_1 = 0$。如果 $C_n$ 的整个区域在 $\theta_1=0$ 这条直线的一侧（不与该直线相交），则我们在90%置信水平下拒绝原假设。

常见问题与排查 ：

1. 问题 ：计算出的 $\epsilon$-AERM 集合太大，几乎覆盖了整个合理的参数空间，导致推断没有信息量。 排查 ：首先检查均匀收敛界 $\phi_n(\delta)$ 是否过于保守。理论界（如基于VC维）通常很松。尝试使用基于 数据驱动的Rademacher复杂度估计 或 基于Bootstrap的波动性估计 来获得一个更紧的边界。其次，检查模型是否过于复杂（如高维线性回归未加正则化）。考虑引入合理的正则化（如L2约束 $||\theta|| \leq M$），这能显式地缩小假设空间 $\Theta$，从而得到更小的 $\phi_n(\delta)$ 和更紧的置信集。
2. 问题 ：对于深度神经网络，均匀收敛界难以计算或估计，方法似乎不可行。 排查 ：对于深度模型，直接在全参数空间上应用此方法确实不现实。可以考虑在 特征表示空间 或 预测函数空间 进行推断。例如，固定特征提取层，只对最后的线性分类层参数构建置信集。或者，使用 随机特征展开 等技术，将深度网络映射到一个具有明确复杂度控制的线性函数空间，再对该空间应用均匀收敛理论。另一种思路是采用 模型平均 或 集成方法 ，对多个子模型或训练轨迹的参数集合进行近似，将其视为对 $\epsilon$-AERM 集合的一种经验近似。
3. 问题 ：如何选择 $\epsilon$ 和置信水平 $1-\delta$ 的关系？文中说 $\epsilon \geq 2\phi_n(\delta)$。 解答 ：这是一个理论推导的结果。在实践中，我们通常是先确定置信水平 $\delta$（如0.05或0.1），然后根据模型和数据估计出对应的 $\phi_n(\delta)$，最后取 $\epsilon = 2\phi_n(\delta)$。$\epsilon$ 不是自由参数，而是由我们想要的置信水平和模型的均匀收敛性质共同决定的。如果你想获得一个更小的置信集（更精确的推断），你需要要么增加样本量 $n$（使 $\phi_n(\delta)$ 减小），要么选择一个更简单的模型（降低复杂度，使 $\phi_n(\delta)$ 的系数减小）。

6. 超越保守性：提升推断效率的策略

基于均匀收敛的置信集因其稳健性而可能显得保守。如何在不牺牲有限样本有效性的前提下，获得更紧、信息量更大的推断呢？

1. 利用模型结构信息 ：如果我们对模型有额外的知识，可以将其融入以缩小搜索空间。例如，在稀疏线性回归中，我们可能相信真实参数 $\theta_0$ 是稀疏的。那么，我们可以将置信集构建限制在稀疏参数的集合上，即 $C_n^{\text{sparse}} = {\theta \in \Theta: R_n(\theta) \leq R_n(\hat{\theta}_n) + \epsilon, ||\theta||_0 \leq s}$。只要这个稀疏性假设是正确的，新的置信集 $C_n^{\text{sparse}}$ 仍然是有效的，并且会比全空间的 $C_n$ 小得多。关键在于，这个额外的结构假设是加在**我们构建的推断对象（置信集）**上的，而不是加在数据生成过程上的强假设。

2. 数据分割与交叉验证 ：我们可以将数据分为两部分：训练集 $D_{\text{train}}$ 和推理集 $D_{\text{inf}}$。用 $D_{\text{train}}$ 来训练模型得到 $\hat{\theta}$ 并估计均匀收敛界（如果需要）。然后用 $D_{\text{inf}}$ 来构建一个基于 样本外经验风险 的置信集： $$C_n^{\text{split}} = {\theta: R_{n_{\text{inf}}}(\theta) \leq R_{n_{\text{inf}}}(\hat{\theta}) + \epsilon'}$$ 其中 $R_{n_{\text{inf}}}$ 是在 $D_{\text{inf}}$ 上计算的经验风险。由于 $D_{\text{inf}}$ 独立于用于选择 $\hat{\theta}$ 的 $D_{\text{train}}$，我们可以使用更简单（有时更紧）的概率不等式（如Hoeffding不等式）来设定 $\epsilon'$，从而可能获得更小的置信集。这类似于一种“去偏”操作。

3. 自适应方法 ：与其使用一个全局的、最坏情况的 $\epsilon$，我们可以尝试让 $\epsilon$ 随参数 $\theta$ 变化。例如，考虑局部均匀收敛性，或者使用 自助法（Bootstrap） 来近似 $\theta_0$ 的抽样分布。虽然标准的百分位Bootstrap区间是渐近有效的，但可以将其与均匀收敛思想结合，构造“经过校准的Bootstrap置信集”。基本思路是：用Bootstrap生成多个 $\hat{\theta}^*$，然后构建一个集合，使其包含一定比例的Bootstrap样本，同时这个比例经过调整，以补偿Bootstrap可能存在的偏差，从而满足有限样本覆盖要求。这种方法在计算上更密集，但通常能产生更精确的区间。

4. 关注可解释的降维投影 ：与其追求整个高维参数空间的置信集，不如聚焦于少数几个我们关心的、有实际意义的参数线性组合或预测函数的置信区间。例如，我们可能只关心某个特定特征 $x_j$ 的系数 $\theta_j$，或者关心在新输入 $x_{\text{new}}$ 上的预测值 $x_{\text{new}}^T\theta$ 的区间。我们可以将高维置信集 $C_n$ 投影到这些一维或低维子空间上。投影后的区间虽然可能仍然较宽，但其计算和解释都更容易，并且仍然保持着覆盖真实线性组合值的有限样本保证。