1. 从“黑盒”到“可信任”：为什么医疗AI需要不确定性量化

最近和几位在医疗AI领域深耕的朋友聊天，大家不约而同地提到了一个痛点：模型预测的“自信”程度。比如，一个基于大语言模型（LLM）的智能分诊系统，面对一份描述“胸痛、呼吸困难、出汗”的电子病历，它可能会以99%的置信度输出“急性心肌梗死”这个标签。这个数字看起来很“确定”，但作为临床决策的参考，我们真的能完全信任这个“99%”吗？如果模型内部其实对“主动脉夹层”这个同样凶险的疾病也有60%的“怀疑”，只是被阈值过滤掉了，这个信息对医生来说可能就是致命的盲区。这就是“不确定性量化”要解决的核心问题——让模型不仅告诉我们“是什么”，还要坦诚地告诉我们“它有多不确定”。

在传统的医疗多标签分类任务中（例如，从一份病历中自动诊断出多种可能的疾病），我们往往只关注最终的分类结果和宏观的性能指标，如准确率、召回率。这就像只关心一个学生考试的总分，却不关心他每道题是蒙对的还是真会。大语言模型，尤其是那些动辄千亿参数的“庞然大物”，其内部推理过程复杂得像一个黑盒。它们可能在某个标签上表现出极高的概率值，但这种“自信”可能源于训练数据中特定模式的简单记忆，而非对病理生理机制的深刻理解。当遇到训练数据分布之外、描述模糊或存在矛盾的病例时，这种虚假的“自信”就会带来风险。

因此，将大语言模型引入医疗多标签分类，绝不能止步于调优提示词（Prompt）以追求更高的F1分数。我们必须建立一套新的评估范式，将“不确定性量化”作为性能评估的核心维度之一。这不仅仅是技术上的锦上添花，更是产品落地和建立临床信任的基石。一个能清晰表达“我对此处不太确定”的AI系统，远比一个总是盲目自信的系统更可靠、更安全，也更能与人类医生形成有效的协同。

2. 医疗多标签分类的特殊性与LLM的适配挑战

在深入技术细节前，我们必须先理解医疗多标签分类这个场景本身的复杂性，以及大语言模型与之适配时面临的独特挑战。这决定了我们后续所有评估方法的设计出发点。

2.1 医疗文本的固有复杂性

医疗文本，尤其是电子病历、影像报告、科研文献，远非普通的自然语言。其特殊性体现在几个层面：

• 高度专业化与术语密集 ：充斥着大量的医学术语、缩写、药物名和疾病代码（如ICD-10）。一个词义的细微差别可能指向完全不同的诊断。
• 标签依赖性与共现性 ：疾病标签之间并非独立。例如，“糖尿病”和“糖尿病肾病”高度相关；“肺炎”和“呼吸衰竭”常常共现。模型需要理解这种层级和关联关系。
• 数据不平衡与长尾分布 ：常见病病例多，罕见病病例极少。模型很容易在常见病上过度自信，而在罕见病上要么漏诊，要么给出毫无根据的胡乱猜测。
• 描述的主观性与模糊性 ：“患者主诉轻度头晕”中的“轻度”缺乏客观标准；不同医生对同一体征的描述可能存在差异。

2.2. 大语言模型作为分类器的优势与陷阱

大语言模型，特别是经过医学领域微调或指令微调的模型，为应对上述挑战带来了新的可能：

• 优势 ：
  1. 强大的语义理解与上下文建模 ：能够理解“胸痛放射至左臂”和“胸痛伴左臂麻木”之间的临床意义关联，这是传统基于关键词或浅层神经网络的方法难以做到的。
  2. 零样本/少样本学习能力 ：通过精心设计的提示词，可以在没有或仅有少量标注数据的情况下，对新的疾病标签进行推理，这对于应对罕见病分类至关重要。
  3. 生成式解释 ：不仅能输出标签，还能生成推理过程或诊断依据，为不确定性提供可解释的线索。
• 陷阱 ：
  1. “幻觉”与虚构 ：LLM可能生成看似合理但完全错误的医学陈述或诊断依据，这在医疗领域是极其危险的。
  2. 校准偏差 ：LLM输出的概率（或logits）往往没有经过很好的校准。一个0.9的概率值并不代表真实世界中有90%的可能性，可能只是模型训练分布下的一个偏高估计。
  3. 提示词敏感性 ：分类结果对提示词的措辞、格式、示例的排列顺序非常敏感，微小的变动可能导致性能显著波动，这本身就是一种不确定性的来源。
  4. 计算成本与延迟 ：对长病历进行多次推理以量化不确定性，会带来高昂的计算成本和时间延迟，在临床实时场景中可能难以接受。

理解了这些背景，我们就能明确，对LLM在医疗多标签分类中的评估，必须超越传统的“性能评估”，必须融入“不确定性评估”，并且这种方法需要针对LLM和医疗场景的特点进行定制。

3. 不确定性量化的核心方法：从概率到可信区间

不确定性量化本质上是为模型的每一个预测分配一个“可信度”分数。对于LLM，我们可以从多个层面和采用多种方法来获取这个分数。

3.1 认知不确定性与偶然不确定性

首先需要区分两种不确定性：

• 认知不确定性 ：源于模型自身知识的不足。例如，模型从未学习过某种罕见病的特征，因此面对相关症状时感到“迷茫”。这种不确定性可以通过增加更多相关数据来减少。
• 偶然不确定性 ：源于数据固有的噪声或随机性。例如，同一种疾病在不同患者身上的表现本身就存在差异。这种不确定性是数据固有的，无法通过增加数据完全消除。

在医疗中，我们更关心认知不确定性，因为它直接指向模型知识的边界和潜在风险。

3.2 基于模型输出的直接量化方法

这是最直观的一类方法，直接利用LLM单次前向传播的输出。

• Softmax概率/Logits ：对于每个疾病标签，模型会输出一个logit值，经过softmax后可以视为一个概率分布。这个概率值是最基础的不确定性指标。然而，如前所述，LLM的原始softmax概率通常校准性很差。
  • 实操注意 ：直接使用原始概率风险很高。一个常见的做法是使用 温度缩放 来校准概率。通过在softmax函数中引入一个温度参数T（ softmax(logits / T) ），并在一个保留的验证集上优化T，可以使模型的输出概率更接近真实的正确频率。
• 熵 ：对于一个样本，模型对所有可能标签的概率分布可以计算信息熵。熵值越高，说明模型越“犹豫不决”，不确定性越大。公式为： H(p) = -Σ p_i * log(p_i) 。这对于多标签分类尤其有用，可以综合衡量模型对所有标签的混乱程度。
• 最大类别概率 ：即模型对最可能标签赋予的概率值。这个值越低，不确定性越高。但它只关注了top-1的置信度，忽略了其他标签的分布情况。

3.3 基于多次推理的集成与采样方法

这类方法通过让模型以不同方式多次推理同一问题，观察输出的变化来衡量不确定性。其核心思想是：对于一个确定的问题，一个确信的模型应该给出稳定一致的答案；如果答案摇摆不定，则说明模型不确定。

• 蒙特卡洛Dropout ：在推理阶段，不关闭Dropout层，让模型进行T次前向传播（例如T=30）。对于每个标签，你会得到T个不同的概率值。这T个值的均值可以作为最终预测概率，而其 方差 或 标准差 则是一个极佳的不确定性度量——方差越大，模型越不确定。这种方法巧妙地利用了训练阶段的正则化工具在推理阶段进行近似贝叶斯推断。
• 提示词扰动集成 ：针对LLM对提示词敏感的特性，我们可以设计一组语义相同但表述略有差异的提示词模板（例如，改变疾病标签的排列顺序、增减几个无关的引导词）。用这组提示词分别询问LLM，然后集成结果。预测结果的一致性（如标签集合的Jaccard相似度）可以作为不确定性的指标。一致性越低，不确定性越高。
• 多模型集成 ：如果条件允许，使用多个不同架构或在不同医学子领域数据上微调的LLM进行预测。集成模型的预测差异（离散度）是强有力的不确定性信号。例如，三个顶级医学大模型对某个病例都预测“肺炎”，那我们就很确信；如果其中一个预测了“肺结核”，就需要高度警惕。

注意 ：蒙特卡洛Dropout和提示词扰动都会显著增加推理成本（T倍）。在实际部署中，需要权衡不确定性评估的精度与响应延迟，可能仅对模型初始预测置信度处于中间区间的“困难样本”才触发深度不确定性分析。

3.4 基于可信区间的统计方法

对于某些回归形式的输出（例如，预测某种疾病的风险评分），我们可以采用更严格的统计方法。

• 分位数回归 ：训练模型不仅预测均值（如风险中位数），还预测分布的不同分位数（如5%和95%分位数）。这样，对于每个预测，我们都能直接得到一个预测区间。例如，模型预测患者30天内再入院风险为20%，其90%预测区间为[10%， 35%]。这个区间宽度直接量化了不确定性。
• 共形预测 ：这是一种分布无关的、具有统计保证的方法。它不需要改变模型结构，而是在模型输出基础上，利用一个校准集来计算一个“非一致性分数”，进而为每个新样本的预测生成一个包含真实标签的集合，并给出一个置信水平（如90%）。在医疗多标签分类中，我们可以为每个疾病标签生成一个“可能标签集”，这个集合的大小反映了不确定性——集合越大（包含的疾病越多），不确定性越高。

4. 构建面向不确定性的性能评估新指标体系

传统的准确率、精确率、召回率、F1分数、AUC-ROC等指标，评估的是模型“点预测”的准确性。它们无法区分一个模型是“稳健地正确”还是“侥幸地正确”，也无法评估模型在“不确定时”是否“诚实”。因此，我们需要引入一套与之互补的、专注于评估模型“自知之明”的指标。

4.1 校准性评估：预测概率是否可信？

这是评估不确定性质量的基础。一个校准良好的模型，其预测概率应反映真实的正确可能性。例如，在所有被模型以80%置信度预测为阳性的样本中，实际阳性的比例应该接近80%。

• 可靠性曲线 ：将预测概率区间[0,1]划分为若干个桶（bin）。对于每个桶，计算该桶内所有样本的平均预测概率（x轴）和实际准确率（y轴）。理想情况下，点应分布在对角线y=x上。
• 预期校准误差 ：衡量可靠性曲线偏离对角线的平均程度。公式为： ECE = Σ (|B_m| / N) * |acc(B_m) - conf(B_m)| ，其中 B_m 是第m个桶， |B_m| 是桶内样本数，N是总样本数， acc 是桶内准确率， conf 是桶内平均置信度。ECE越低，校准越好。
• 最大校准误差 ：所有桶中， |acc(B_m) - conf(B_m)| 的最大值。它反映了最坏情况下的校准偏差。

在医疗场景中，我们尤其需要关注高置信度区间（如>0.9）的校准情况。如果模型经常以99%的置信度做出错误预测，其危害性极大。

4.2 不确定性感知的准确性评估

这类指标将模型的不确定性输出与预测错误关联起来。核心思想是：模型在它不确定的样本上，应该被允许“弃权”或触发人工审核，而在它确定的样本上必须保持高准确率。

• 风险-覆盖曲线 ：将测试样本按照模型的不确定性分数（如预测熵、方差）从低到高排序。我们逐步增加覆盖的样本比例（即，只对不确定性最低的那部分样本做出自动预测，其余需要人工复核）。每覆盖一个比例，计算这部分被自动预测样本的准确率（即“风险”）。绘制覆盖比例-准确率曲线。一个好的模型，曲线应该尽可能高且平缓，意味着即使覆盖大部分样本，准确率依然很高；或者，在覆盖样本较少时，准确率能迅速达到极高值。
• 弃权分类下的AUC ：设定一个不确定性阈值，当模型对某个样本的不确定性高于该阈值时，模型“弃权”，将该样本交给人类专家。我们可以计算在不同弃权阈值下，模型自动判断部分的精确率、召回率等，并绘制曲线（如精确率-召回率曲线），计算AUC。这评估了模型“知之为知之，不知为不知”的能力。

4.3 针对多标签场景的扩展评估

上述指标需要适配多标签分类。例如，计算ECE时，不能简单地对所有标签的所有预测概率混在一起分桶。更合理的做法是：

1. 按样本评估 ：对每个样本，计算其所有标签预测概率的均值作为样本级置信度，与该样本的实际标签匹配程度（如Jaccard相似度）作为样本级准确率，再进行分桶计算样本级ECE。
2. 按标签评估 ：对每个疾病标签单独计算二分类的校准曲线和ECE，特别是关注那些高风险、高误诊代价的疾病标签。
3. 集合预测评估 ：如果使用共形预测等方法输出了标签集合，可以评估集合的大小（越小越好）以及集合的覆盖概率（是否在设定的置信水平下覆盖了真实标签）。

5. 实战流程：从数据准备到报告生成

让我们以一个具体的场景为例，假设我们要开发一个基于LLM的住院病历多病种自动编码系统。以下是结合了不确定性量化与评估的完整实操流程。

5.1 数据准备与提示工程

数据是源头。我们需要三部分数据：训练集、验证集（用于调参和校准）、测试集（用于最终评估）。

• 训练集 ：用于微调LLM（如果采用微调策略）或构建少样本示例库。必须确保标签质量，并尽可能覆盖各种疾病组合和表述方式。
• 提示词设计 ：这是关键。提示词应明确要求模型以结构化格式输出（如JSON），包含疾病列表以及每个疾病的置信度分数。示例：

  你是一个资深的医疗编码专家。请分析以下出院小结，列出患者所患的所有主要疾病（对应ICD-10编码），并为每个疾病分配一个介于0到1之间的置信度分数，代表你对该诊断存在的把握程度。
  
  出院小结：[此处粘贴文本]
  
  请以以下JSON格式输出：
  {
    "diseases": [
      {"code": "I10", "name": "原发性高血压", "confidence": 0.95},
      {"code": "E11.9", "name": "2型糖尿病", "confidence": 0.87}
    ]
  }
  

  • 心得 ：在提示词中加入“思考过程”的要求（如“请逐步推理”），有时能让模型输出更校准的概率，因为它在生成最终答案前进行了内部“演算”。
• 验证集 ：用于：
  1. 调整提示词模板和少样本示例。
  2. 进行温度缩放校准，找到最优的温度参数T。
  3. 如果是共形预测，用于计算非一致性分数的阈值。

5.2 不确定性量化流水线构建

在代码层面，我们需要构建一个推理流水线，它不仅输出预测标签，还输出不确定性度量。

import numpy as np
import torch

class LLMUncertaintyPipeline:
    def __init__(self, model, tokenizer, method='mc_dropout', T=30, prompt_templates=None):
        self.model = model
        self.tokenizer = tokenizer
        self.method = method
        self.T = T  # 蒙特卡洛采样次数
        self.prompt_templates = prompt_templates or [default_prompt]
        self.temperature = 1.0  # 将通过校准得到

    def predict_with_uncertainty(self, clinical_text):
        all_predictions = []
        all_confidences = []

        if self.method == 'mc_dropout':
            # 启用dropout
            self.model.train()
            for _ in range(self.T):
                pred, conf = self._single_prediction(clinical_text)
                all_predictions.append(pred)
                all_confidences.append(conf)
            self.model.eval()

            # 计算均值预测和不确定性（方差）
            mean_conf = np.mean(all_confidences, axis=0)
            uncertainty = np.var(all_confidences, axis=0)  # 方差作为不确定性
            aggregated_pred = (mean_conf > 0.5).astype(int)  # 简单阈值，可优化

        elif self.method == 'prompt_ensemble':
            for prompt in self.prompt_templates:
                formatted_prompt = prompt.format(text=clinical_text)
                pred, conf = self._single_prediction_with_prompt(formatted_prompt)
                all_predictions.append(pred)
                all_confidences.append(conf)
            # 计算预测的一致性（如Jaccard Index）作为不确定性
            # 一致性越低，不确定性越高
            uncertainty = 1 - self._compute_agreement(all_predictions)
            aggregated_pred = self._aggregate_predictions(all_predictions)

        return aggregated_pred, mean_conf, uncertainty

    def _single_prediction(self, text):
        # 单次推理，返回预测标签和置信度
        inputs = self.tokenizer(text, return_tensors='pt', truncation=True, padding=True)
        with torch.no_grad():
            outputs = self.model(**inputs)
            logits = outputs.logits
            # 应用温度缩放
            scaled_logits = logits / self.temperature
            probs = torch.softmax(scaled_logits, dim=-1).cpu().numpy()
        # 解析probs得到多标签预测（此处简化）
        return pred, conf

    def calibrate_temperature(self, validation_data):
        # 使用验证集寻找最优温度参数T，以最小化ECE
        # ... 实现温度缩放校准算法 ...
        self.temperature = optimal_T

• 避坑指南 ：蒙特卡洛Dropout的方差估计可能会受到模型Dropout率设置的影响。如果训练时Dropout率很低，推理时的方差也会很小，可能低估不确定性。必要时可以在推理时使用比训练时更高的Dropout率。

5.3 评估与报告生成

在测试集上运行流水线后，收集以下结果：

1. 原始预测 ：模型输出的疾病标签集合。
2. 置信度分数 ：每个标签的预测概率（经过温度缩放校准后）。
3. 不确定性分数 ：每个样本或每个标签的不确定性度量（如方差、熵、预测集合大小）。

然后，系统性地计算：

• 传统性能指标 ：Micro/Macro F1, AUC-PR (对于每个标签)， Jaccard相似度。
• 校准指标 ：可靠性曲线图、ECE、MCE。特别绘制高置信度区间（>0.9）的放大图。
• 不确定性效用指标 ：风险-覆盖曲线。分析在保证准确率>95%的前提下，模型可以自动处理多少比例的病例（覆盖度）。或者，如果设定覆盖度为80%，模型的准确率能达到多少。
• 错误分析 ：将预测错误的样本，按照其不确定性分数排序。检查那些“高置信度错误”的样本，分析其典型特征（如描述模糊、罕见病、数据噪声）。这是迭代改进模型和提示词的最宝贵材料。

最终的报告不应只是一张指标表格，而应是一个综合性的分析： “我们的LLM分类器在测试集上达到了0.85的宏观F1分数。经过温度缩放校准后，其预期校准误差从0.15降低至0.05，尤其在置信度高于0.9的预测中，校准良好。风险-覆盖曲线显示，如果允许模型对不确定性最高的20%病例弃权（交由人工审核），剩余自动处理的80%病例准确率可以从88%提升至96%。错误分析发现，高置信度错误主要集中于‘慢性阻塞性肺疾病急性加重’与‘社区获得性肺炎’的鉴别，建议后续引入针对性的鉴别诊断示例到提示词中。”

6. 部署考量与持续监控

将带有不确定性量化的模型投入实际应用，还需要考虑工程和流程上的问题。

• 不确定性阈值的选择 ：如何根据不确定性分数决定是自动采纳、触发警示还是直接转人工？这没有统一答案，需要一个 策略函数 。这个函数可以基于业务风险动态调整。例如：
  • 对于低风险、高确定性的预测（如“高血压”且不确定性<0.1），自动编码。
  • 对于高风险疾病（如“肺栓塞”、“心肌梗死”）或中等不确定性的预测（不确定性在0.1-0.3之间），在医生工作站界面以“建议诊断”形式高亮提示，并附上置信度区间和关键依据文本。
  • 对于高不确定性的预测（>0.3），强制进入人工审核队列。
• 持续校准与监控 ：模型上线后，其数据分布可能会漂移（例如，新出现一种流行病）。需要建立监控系统，持续收集模型预测和最终医生确认的标签，定期（如每月）重新计算校准指标和性能指标。如果发现校准误差显著增大，需要触发模型重新校准或更新。
• 人机协同界面设计 ：不确定性信息如何有效呈现给医生是关键。简单的概率数字可能不够直观。可以考虑使用 视觉编码 ：
  • 颜色 ：高置信度用绿色，中置信度用黄色，低置信度用红色。
  • 进度条/置信区间 ：用条形图展示置信度及其区间（如果使用了分位数回归等方法）。
  • 归因高亮 ：结合可解释性AI技术，在原始病历文本中高亮出支撑模型做出该诊断（以及导致其不确定）的关键短语。

将大语言模型应用于医疗多标签分类，不确定性量化不是可选项，而是构建安全、可靠、可信赖的临床AI辅助系统的必由之路。它迫使我们从追求单一的“准确率”竞赛，转向构建一个能坦诚沟通自身局限性的“合作伙伴”。这个过程技术挑战不小，从方法选择、指标设计到工程落地，每一步都需要紧密结合医疗场景的严肃性和特殊性。但回报是巨大的——一个懂得说“我不知道”的AI，才能真正赢得医生的信任，并在复杂的医疗决策中发挥出最大、最安全的辅助价值。