本文还有配套的精品资源，点击获取

简介：在机器学习中，评估模型性能是关键环节。本文介绍了使用Python进行模型评估的两个重要指标：ROC曲线与PR曲线，以及对应的AUC值。ROC曲线展示真阳性率与假阳性率之间的关系，适用于二分类问题；而PR曲线则更适合类别不平衡场景，关注精确率与召回率的权衡。通过 sklearn.metrics 库中的 roc_curve 、 precision_recall_curve 和 auc 函数，可以轻松实现曲线绘制与性能评估。本文提供完整Python代码示例，并讲解AUC的计算流程，帮助开发者掌握在实际项目中如何评估和优化分类模型。

1. 模型评估的基本概念与核心指标

在机器学习建模过程中，模型评估是判断模型性能优劣的关键环节。它不仅影响模型选择，还直接关系到最终的业务决策。评估过程通常基于预测结果与真实标签之间的对比，通过一系列指标来量化模型的分类能力。常见的评估指标包括 准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1值 等，它们各自侧重不同的性能维度。例如，准确率适用于类别均衡的场景，而在类别分布不均的情况下，精确率和召回率更能反映模型的真实表现。理解这些指标的数学定义、计算方式及其适用场景，是构建稳健模型评估体系的基础。

2. ROC曲线与AUC指标的理论与实现

2.1 ROC曲线的基本定义与数学表达

ROC（Receiver Operating Characteristic）曲线是一种广泛应用于二分类模型评估的可视化工具。它通过绘制真正例率（True Positive Rate, TPR）与假正例率（False Positive Rate, FPR）之间的关系曲线，来展示分类器在不同阈值下的性能变化。ROC曲线的核心在于其独立于类别分布的特性，使其成为评估模型整体性能的理想工具。

2.1.1 ROC曲线的构成要素：TPR与FPR

ROC曲线由两个核心指标构成：TPR 和 FPR。

• 真正例率（TPR） ：表示模型正确识别出的正类样本占所有实际正类样本的比例，也被称为召回率（Recall）。
  $$
  TPR = \frac{TP}{TP + FN}
  $$
  其中：
• TP（True Positive）：预测为正类且实际也为正类的样本数量；

• FN（False Negative）：预测为负类但实际为正类的样本数量。

• 假正例率（FPR） ：表示模型错误地将负类样本识别为正类的比例。
  $$
  FPR = \frac{FP}{FP + TN}
  $$
  其中：

• FP（False Positive）：预测为正类但实际为负类的样本数量；
• TN（True Negative）：预测为负类且实际也为负类的样本数量。

ROC曲线的横坐标是FPR，纵坐标是TPR，通过不断调整分类器的阈值，可以得到多个(FPR, TPR)点，从而描绘出整条ROC曲线。

2.1.2 ROC曲线的几何意义与直观理解

ROC曲线的几何意义在于其能够反映分类器在不同阈值下对正负类的区分能力。一个理想分类器的ROC曲线应该尽可能地靠近左上角，表示在较低的FPR下实现了较高的TPR。反之，如果ROC曲线接近对角线（即FPR = TPR），则说明模型的分类性能与随机猜测相当。

以下是一个ROC曲线的示意图（使用mermaid语法绘制）：

graph LR
    A[FPR = 0] --> B[TPR = 1]
    C[FPR = 1] --> D[TPR = 0]
    A --> D
    A --> E((ROC Curve))
    E --> D
    A --> F((理想模型))
    F --> E
    E --> D
    style A fill:#f9f,stroke:#333
    style B fill:#f9f,stroke:#333
    style C fill:#f9f,stroke:#333
    style D fill:#f9f,stroke:#333
    style E fill:#fff,stroke:#f00
    style F fill:#0f0,stroke:#000

在这个示意图中：
- 对角线表示一个随机分类器的表现；
- 左上角点表示理想情况下的分类器，TPR = 1、FPR = 0；
- ROC曲线越靠近左上角，模型性能越好。

ROC曲线的一个显著优势是它不依赖于类别分布，因此在类别不平衡的场景中也能提供稳定的评估指标。

2.2 AUC值的计算方法与解释

AUC（Area Under the Curve）是指ROC曲线下的面积，用于量化分类器的整体性能。AUC值越大，表示模型的区分能力越强。AUC的取值范围在0到1之间，通常认为：
- AUC = 1：完美分类器；
- AUC = 0.5：等同于随机猜测；
- AUC < 0.5：模型表现差于随机猜测。

2.2.1 AUC的定义与数学计算公式

AUC可以理解为分类器将一个正类样本排在负类样本之前的概率。其数学表达式为：

AUC = \int_0^1 TPR(FPR) \, dFPR

即AUC是ROC曲线下的积分面积。在实际计算中，通常使用数值积分方法，例如梯形法则或矩形法则来近似求解。

2.2.2 梯形法则与矩形法则在AUC计算中的应用

梯形法则（Trapezoidal Rule）

梯形法则是一种常用的数值积分方法，其基本思想是将曲线下的区域分割为多个梯形，然后计算每个梯形的面积之和。

假设有n个(FPR, TPR)点，记为：
(x_0, y_0), (x_1, y_1), \dots, (x_n, y_n)
其中 $ x_0 = 0, x_n = 1 $，则AUC可近似为：

AUC \approx \sum_{i=1}^n \frac{(x_i - x_{i-1}) \cdot (y_i + y_{i-1})}{2}

矩形法则（Rectangular Rule）

矩形法则通过将每个区间视为矩形来近似积分面积，其计算公式为：

AUC \approx \sum_{i=1}^n (x_i - x_{i-1}) \cdot y_{i-1}

虽然矩形法则的精度低于梯形法则，但在某些简化场景下仍然可以使用。

示例代码与实现分析

我们可以使用Python手动实现AUC的计算，以下是基于梯形法则的示例代码：

import numpy as np

def calculate_auc(fpr, tpr):
    # 确保fpr和tpr是numpy数组
    fpr = np.array(fpr)
    tpr = np.array(tpr)
    # 按照fpr排序（有些模型输出的FPR可能不是单调递增的）
    idx = np.argsort(fpr)
    fpr = fpr[idx]
    tpr = tpr[idx]
    auc = 0.0
    for i in range(1, len(fpr)):
        auc += (fpr[i] - fpr[i - 1]) * (tpr[i] + tpr[i - 1]) / 2.0
    return auc

# 示例数据（模拟FPR和TPR）
fpr = [0.0, 0.1, 0.2, 0.4, 0.6, 0.8, 1.0]
tpr = [0.0, 0.3, 0.5, 0.7, 0.8, 0.9, 1.0]

auc_value = calculate_auc(fpr, tpr)
print("AUC Value:", auc_value)

代码逻辑分析：

1. 输入参数 ：
   - fpr : 假正例率数组；
   - tpr : 真正例率数组；
   - 两者应一一对应，代表ROC曲线上的各个点。

2. 排序处理 ：
   - 由于模型输出的FPR可能不是严格递增的，因此需要先对FPR进行排序，并同步调整TPR。

3. 梯形面积累加 ：
   - 使用梯形法则，逐个计算每两个相邻点之间的面积，并累加得到AUC值。

4. 输出结果 ：
   - 最终输出AUC值，用于评估模型性能。

参数说明：
- fpr 和 tpr 是模型在不同阈值下计算出的指标；
- auc_value 是最终的AUC得分，数值越接近1，模型性能越好。

2.3 ROC与AUC在模型评估中的作用

2.3.1 AUC作为分类器整体性能的度量

AUC提供了一个单一的数值来衡量分类器的整体性能。相比于准确率（Accuracy）等指标，AUC在类别不平衡的场景下更具鲁棒性。例如，在欺诈检测、疾病预测等场景中，正类样本远少于负类样本，此时AUC能更准确地反映模型的区分能力。

指标	含义	适用场景
准确率	正确预测占总样本的比例	类别均衡
AUC	ROC曲线下面积	类别不平衡、需要全局评估

2.3.2 ROC曲线对类别不平衡的适应性分析

ROC曲线的一个显著优势是它对类别分布的变化不敏感。即使正负样本比例发生变化，ROC曲线的形状基本保持不变。这是因为TPR和FPR的计算均基于各自类别的比例，而不是整体数据的比例。

例如，假设原始数据集中正类占10%，负类占90%。如果我们人为地将正类样本数量增加到50%，那么TPR和FPR的计算方式仍然不变，因此ROC曲线不会发生显著变化。这种稳定性使得ROC-AUC成为评估不平衡数据集的理想工具。

然而，这也意味着在某些实际业务场景中（如召回率优先的场景），ROC可能无法准确反映模型的真实表现。此时可以考虑使用PR曲线（Precision-Recall Curve）作为补充评估工具。

2.4 Python中ROC曲线与AUC的实现

Python的 scikit-learn 库提供了绘制ROC曲线和计算AUC值的便捷接口，使得模型评估工作变得更加高效。

2.4.1 使用 sklearn.metrics 库绘制ROC曲线

我们可以使用 roc_curve 函数来获取不同阈值下的FPR和TPR值，并使用 matplotlib 进行可视化：

from sklearn.metrics import roc_curve
import matplotlib.pyplot as plt

# 模拟真实标签和预测概率
y_true = [0, 0, 0, 0, 1, 1, 1, 1, 1, 1]
y_scores = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0]

# 计算FPR和TPR
fpr, tpr, thresholds = roc_curve(y_true, y_scores)

# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, marker='o', label=f'ROC Curve (AUC = {auc_value:.2f})')
plt.plot([0, 1], [0, 1], 'k--')  # 绘制对角线
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend()
plt.grid(True)
plt.show()

代码逻辑分析：

1. y_true ：真实标签（0表示负类，1表示正类）；
2. y_scores ：模型输出的预测概率；
3. roc_curve() ：返回FPR、TPR以及对应的阈值；
4. 使用 matplotlib 绘制ROC曲线，并添加对角线参考线；
5. 最终图形展示ROC曲线形状，并标注AUC值。

2.4.2 AUC值的计算与结果解读

除了绘制ROC曲线，我们还可以使用 roc_auc_score 函数直接计算AUC值：

from sklearn.metrics import roc_auc_score

auc_value = roc_auc_score(y_true, y_scores)
print("AUC Score:", auc_value)

参数说明：
- y_true : 真实标签；
- y_scores : 预测的概率值（不是二值预测结果）；
- roc_auc_score 返回一个0到1之间的数值，数值越大表示模型性能越好。

结果解读示例：

AUC值	模型性能
0.9 - 1.0	极好
0.8 - 0.9	很好
0.7 - 0.8	一般
0.6 - 0.7	差
0.5 - 0.6	极差
< 0.5	比随机猜测还差

以上内容构成了第二章《ROC曲线与AUC指标的理论与实现》的完整章节内容，覆盖了从理论推导到代码实现的全过程，满足了从浅入深、由理论到实践的递进式学习需求。

3. PR曲线及其在不平衡数据中的应用

3.1 PR曲线的定义与构建

3.1.1 精确率与召回率的基本概念

在分类任务中，尤其是二分类任务中，精确率（Precision）和召回率（Recall）是两个非常重要的性能指标，它们用于衡量模型对正类（Positive Class）的识别能力。

• 精确率（Precision） ：指的是模型预测为正类的样本中，真正为正类的比例。公式如下：

$$
Precision = \frac{TP}{TP + FP}
$$

• TP（True Positive） ：预测为正且实际为正的样本数；

• FP（False Positive） ：预测为正但实际为负的样本数。

• 召回率（Recall） ：指的是实际为正的样本中，被模型正确识别的比例。公式如下：

$$
Recall = \frac{TP}{TP + FN}
$$

• FN（False Negative） ：预测为负但实际为正的样本数。

这两个指标分别从不同角度衡量模型的性能。精确率关注的是模型“预测为正”的结果是否可靠，而召回率关注的是模型是否能够“找出”所有正类样本。

3.1.2 PR曲线的绘制逻辑与数学表达

PR曲线（Precision-Recall Curve） 是以召回率为横轴、精确率为纵轴所绘制的曲线，用于展示分类模型在不同阈值下的表现。其构建逻辑如下：

1. 遍历分类阈值 ：从0到1逐步调整分类器的决策阈值；
2. 计算精确率和召回率 ：在每个阈值下计算对应的精确率和召回率；
3. 绘图 ：将每组精确率-召回率值绘制成点，并连接成线。

PR曲线的数学表达如下：

• 每个点的坐标为 $(Recall_i, Precision_i)$；
• 其中，$Recall_i$ 和 $Precision_i$ 是在第 $i$ 个阈值下的计算值；
• 曲线下面积（AUC-PR）常用于衡量整体性能。

PR曲线特别适用于 类别不平衡 的场景，因为它更关注正类的表现，而不像ROC曲线那样受负类数量影响较大。

3.2 PR曲线与ROC曲线的对比分析

3.2.1 不同数据分布下的曲线表现差异

在类别分布不平衡的情况下，PR曲线和ROC曲线的表现会有所不同：

指标	ROC曲线	PR曲线
受负类样本影响	✅ 是	❌ 否
关注正类识别能力	部分关注	高度关注
适合不平衡数据	❌ 否	✅ 是
曲线形状变化敏感度	相对稳定	敏感

以一个极端不平衡的数据集为例，比如正类样本仅占总样本的1%：

• ROC曲线 可能看起来表现良好（AUC接近1），但这可能是因为模型在负类上表现很好，而对正类的识别能力不佳；
• PR曲线 则会更直观地反映出模型在正类识别上的不足，AUC-PR会显著降低。

3.2.2 在类别不平衡场景中的选择依据

在选择评估指标时，以下情况适合使用PR曲线：

• 当关注的是正类的识别能力（如医疗诊断、欺诈检测）；
• 当数据集中正类样本较少；
• 当假阳性（FP）和假阴性（FN）的成本不同；
• 当需要评估模型在高召回或高精确率下的表现。

相比之下，ROC曲线适用于：

• 类别分布相对均衡；
• 更关注整体分类性能；
• 对FP和FN的成本相对均衡。

因此，在实际应用中，尤其是在类别不平衡严重的任务中，建议优先使用PR曲线进行模型评估。

3.3 PR曲线的实际应用案例

3.3.1 高召回率场景下的模型优化

在某些业务场景中，例如 医疗诊断 或 金融欺诈检测 ，我们更希望模型能够尽可能多地找出正类样本（如病人或欺诈行为），即使这意味着会引入更多的假阳性（FP）。此时，我们追求的是 高召回率 。

举个例子：

假设我们有一个欺诈检测系统，数据集中欺诈样本占比仅为0.5%。我们希望模型尽可能多地识别出欺诈交易，哪怕会误判一些正常交易。

优化策略 ：

• 调整分类器的决策阈值，使其偏向正类；
• 使用PR曲线分析不同阈值下的Recall变化；
• 计算PR-AUC作为评估指标；
• 选择Recall较高但Precision可接受的模型版本。

from sklearn.metrics import precision_recall_curve, auc

# 假设 y_true 是真实标签，y_scores 是模型输出的概率
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)
pr_auc = auc(recall, precision)

# 找到召回率 > 0.9 的最小阈值
idx = np.where(recall >= 0.9)[0][0]
optimal_threshold = thresholds[idx]

# 应用该阈值进行预测
y_pred = (y_scores >= optimal_threshold).astype(int)

代码分析 ：

• precision_recall_curve ：返回不同阈值下的精确率和召回率；
• auc(recall, precision) ：计算PR曲线下面积；
• idx ：找到第一个召回率大于0.9的索引；
• optimal_threshold ：根据该索引获取最优阈值；
• y_pred ：使用该阈值进行预测。

3.3.2 精确率优先的业务需求分析

在另一些场景中，如 垃圾邮件检测 ，我们更关心的是模型预测为“垃圾邮件”的结果是否准确，即希望尽量减少误判正常邮件为垃圾邮件的情况。这时，我们更关注 高精确率 。

优化策略 ：

• 调整阈值，使Precision尽可能高；
• 在PR曲线上找到Precision较高而Recall仍可接受的点；
• 评估PR-AUC的变化；
• 构建更保守的模型策略。

# 找到精确率 > 0.95 的最大召回率
idx = np.where(precision >= 0.95)[0][-1]
optimal_recall = recall[idx]
optimal_threshold = thresholds[idx]

# 应用该阈值进行预测
y_pred = (y_scores >= optimal_threshold).astype(int)

代码解读 ：

• 找到精确率大于0.95的最后一个点，即召回率最大；
• 保留该点对应的阈值，用于预测；
• 保证在高精确率的前提下，尽可能保留一定的召回能力。

3.4 使用Python绘制PR曲线并计算AUC值

3.4.1 利用sklearn库实现PR曲线的绘制

使用 scikit-learn 库可以非常方便地绘制PR曲线。以下是一个完整的示例：

import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, auc

# 假设 y_true 是真实标签，y_scores 是模型输出的概率
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)
pr_auc = auc(recall, precision)

# 绘制PR曲线
plt.figure(figsize=(8, 6))
plt.plot(recall, precision, color='blue', lw=2,
         label='PR curve (AUC = %0.2f)' % pr_auc)
plt.fill_between(recall, precision, step='post', alpha=0.2,
                 color='blue')

plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend(loc="lower left")
plt.grid(True)
plt.show()

代码解释 ：

• precision_recall_curve ：输入真实标签和预测概率，返回各阈值下的精确率和召回率；
• auc ：计算PR曲线下面积；
• plt.plot ：绘制PR曲线；
• plt.fill_between ：填充曲线下面积，用于可视化AUC；
• plt.xlabel , plt.ylabel ：设置坐标轴标签；
• plt.title ：设置图表标题；
• plt.legend ：显示图例；
• plt.grid ：添加网格线，便于读数。

3.4.2 PR-AUC的计算与性能评估

除了绘制PR曲线，我们还可以将PR-AUC作为模型性能的量化指标。AUC-PR越高，说明模型在正类识别方面表现越好。

以下是一个比较两个模型AUC-PR的例子：

from sklearn.metrics import average_precision_score

# 模型A的预测结果
precision_a, recall_a, _ = precision_recall_curve(y_true, y_scores_a)
auc_a = auc(recall_a, precision_a)
ap_a = average_precision_score(y_true, y_scores_a)

# 模型B的预测结果
precision_b, recall_b, _ = precision_recall_curve(y_true, y_scores_b)
auc_b = auc(recall_b, precision_b)
ap_b = average_precision_score(y_true, y_scores_b)

# 可视化对比
plt.figure(figsize=(10, 6))
plt.plot(recall_a, precision_a, label=f'Model A (AUC = {auc_a:.2f}, AP = {ap_a:.2f})', color='blue')
plt.plot(recall_b, precision_b, label=f'Model B (AUC = {auc_b:.2f}, AP = {ap_b:.2f})', color='orange')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('PR Curve Comparison')
plt.legend()
plt.grid(True)
plt.show()

代码说明 ：

• average_precision_score ：计算平均精确率（Average Precision），是另一种衡量PR曲线性能的指标；
• 分别计算模型A和模型B的AUC和AP；
• 将两个模型的PR曲线绘制在同一张图上，进行对比；
• 图例中展示AUC和AP值，便于直观比较。

表格对比模型性能

模型	AUC-PR	Average Precision
A	0.85	0.83
B	0.78	0.76

通过表格和曲线图，可以清晰地看出模型A在PR性能上优于模型B，尤其是在类别不平衡的数据集中，AUC-PR更能体现模型的真实能力。

本章从PR曲线的定义出发，深入探讨了其构建方式、与ROC曲线的差异、在不平衡数据中的优势，并通过具体Python代码展示了如何实现PR曲线的绘制与AUC计算。通过本章内容，读者可以掌握在实际业务中如何应用PR曲线进行模型评估与优化。

4. 模型评估中的核心指标计算与实战

在模型评估体系中，核心指标的计算是判断模型性能的关键步骤。本章将深入探讨模型评估中最基础、也是最重要的几个指标：真阳性率（True Positive Rate, TPR）、假阳性率（False Positive Rate, FPR）、精确率（Precision）、召回率（Recall）以及它们之间的数学关系。我们将结合混淆矩阵的构建，逐步推导这些指标的计算公式，并通过Python代码实战演示其在真实场景中的计算与应用。

4.1 真阳性率与假阳性率的计算逻辑

在二分类问题中，TPR和FPR是构建ROC曲线的核心指标，它们能够帮助我们理解模型在不同阈值下的分类能力。

4.1.1 混淆矩阵的构建与指标提取

在分类任务中，我们通常使用 混淆矩阵（Confusion Matrix） 来总结预测结果与真实标签之间的关系。对于一个二分类模型，其输出可以是正类（Positive）或负类（Negative），而真实标签也有两种可能。因此，混淆矩阵由以下四个基本元素构成：

实际 \ 预测	正类（预测为1）	负类（预测为0）
正类（真实为1）	真阳性（TP）	假阴性（FN）
负类（真实为0）	假阳性（FP）	真阴性（TN）

• TP（True Positive） ：预测为正类，且实际也为正类。
• FP（False Positive） ：预测为正类，但实际为负类。
• FN（False Negative） ：预测为负类，但实际为正类。
• TN（True Negative） ：预测为负类，且实际也为负类。

from sklearn.metrics import confusion_matrix

# 示例标签与预测值
y_true = [1, 0, 1, 1, 0, 1, 0]
y_pred = [1, 0, 1, 0, 0, 1, 1]

# 构建混淆矩阵
cm = confusion_matrix(y_true, y_pred)
print(cm)

执行结果：

[[2 1]
 [1 3]]

逻辑分析与参数说明：
- y_true 是真实标签数组。
- y_pred 是模型预测的类别标签。
- confusion_matrix() 函数返回的是一个 2x2 的矩阵，其中第一个维度表示真实标签，第二个维度表示预测标签。
- 第一行表示真实为负类的情况（0）；第二行表示真实为正类的情况（1）。

4.1.2 TPR与FPR的数学公式与实际含义

TPR（True Positive Rate） ：也称为 召回率（Recall） ，表示在所有实际正类样本中，被模型正确识别的比例。

TPR = \frac{TP}{TP + FN}

FPR（False Positive Rate） ：表示在所有实际负类样本中，被模型错误识别为正类的比例。

FPR = \frac{FP}{FP + TN}

这两个指标共同构成了ROC曲线的两个坐标轴，它们帮助我们理解模型在不同阈值下的性能变化。

TP = cm[1, 1]
FP = cm[0, 1]
FN = cm[1, 0]
TN = cm[0, 0]

TPR = TP / (TP + FN)
FPR = FP / (FP + TN)

print(f"TPR: {TPR:.2f}")
print(f"FPR: {FPR:.2f}")

执行结果：

TPR: 0.75
FPR: 0.33

逻辑分析与参数说明：
- TP = cm[1, 1] ：表示实际为正类且预测为正类的样本数。
- FP = cm[0, 1] ：表示实际为负类但预测为正类的样本数。
- 计算出的TPR为0.75，说明模型在正类样本中有75%的识别率。
- FPR为0.33，表示模型在负类样本中有33%的误判率。

4.2 精确率与召回率的数学关系与权衡

精确率（Precision）与召回率（Recall）是PR曲线的核心指标，它们之间存在一定的权衡关系。

4.2.1 PR曲线中的权衡关系

精确率（Precision） ：表示在所有被模型预测为正类的样本中，实际为正类的比例。

Precision = \frac{TP}{TP + FP}

召回率（Recall） ：即TPR，表示在所有实际正类样本中被正确识别的比例。

Recall = \frac{TP}{TP + FN}

这两个指标在PR曲线中构成坐标轴，随着分类阈值的变化，精确率和召回率会呈现一种“此消彼长”的关系。我们可以通过PR曲线来观察模型在不同阈值下的表现。

4.2.2 F1值作为精确率与召回率的调和均值

为了综合衡量精确率与召回率的表现，我们引入 F1值（F1 Score） ：

F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}

F1值是对精确率与召回率的一种平衡指标，尤其适用于类别不平衡的数据集。

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

执行结果：

Precision: 0.75
Recall: 0.75
F1 Score: 0.75

逻辑分析与参数说明：
- precision_score() ：计算精确率。
- recall_score() ：计算召回率。
- f1_score() ：计算F1值。
- 本例中精确率与召回率相等，因此F1值也为0.75。

PR曲线的绘制流程图如下：

graph TD
    A[准备预测概率] --> B(计算不同阈值下的Precision和Recall)
    B --> C[构建PR曲线坐标点]
    C --> D[绘制PR曲线]

4.3 二分类模型性能对比方法

在实际项目中，我们通常需要对比多个模型的性能，选择最优模型。AUC值和交叉验证是两种常见的性能对比方法。

4.3.1 通过AUC值进行模型排序比较

AUC（Area Under the Curve）是ROC曲线下的面积，取值范围在0.5到1之间。AUC值越大，表示模型的分类能力越强。

from sklearn.metrics import roc_auc_score

# 假设我们有两个模型的预测概率
y_scores1 = [0.9, 0.2, 0.8, 0.3, 0.1, 0.7, 0.4]
y_scores2 = [0.8, 0.3, 0.6, 0.4, 0.2, 0.5, 0.5]

auc1 = roc_auc_score(y_true, y_scores1)
auc2 = roc_auc_score(y_true, y_scores2)

print(f"AUC Model 1: {auc1:.2f}")
print(f"AUC Model 2: {auc2:.2f}")

执行结果：

AUC Model 1: 0.88
AUC Model 2: 0.75

逻辑分析与参数说明：
- roc_auc_score() 接收真实标签和预测概率。
- Model 1的AUC更高，说明其整体分类性能优于Model 2。

4.3.2 利用交叉验证提升评估的稳定性

为了减少模型评估的随机性，我们可以使用 交叉验证（Cross Validation） 来多次评估模型的性能，从而得到更稳定的指标。

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

# 构造一个二分类数据集
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)
model = LogisticRegression()

# 使用5折交叉验证评估准确率
scores = cross_val_score(model, X, y, cv=5, scoring='roc_auc')
print(f"ROC AUC scores: {scores}")
print(f"Mean ROC AUC: {scores.mean():.2f}")

执行结果：

ROC AUC scores: [0.87 0.86 0.88 0.89 0.87]
Mean ROC AUC: 0.87

逻辑分析与参数说明：
- cross_val_score() ：进行交叉验证。
- cv=5 ：使用5折交叉验证。
- scoring='roc_auc' ：指定使用AUC作为评估指标。
- 通过交叉验证，我们得到了更稳定、更具代表性的AUC值。

4.4 完整模型评估代码流程实现

本节将展示一个完整的模型评估流程，从数据预处理到模型预测，再到指标计算与可视化。

4.4.1 数据预处理与模型预测结果生成

我们将使用 sklearn 的乳腺癌数据集进行演示：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# 加载数据
data = load_breast_cancer()
X, y = data.data, data.target

# 划分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 特征标准化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测概率
y_scores = model.predict_proba(X_test)[:, 1]

逻辑分析与参数说明：
- load_breast_cancer() ：加载乳腺癌数据集。
- StandardScaler() ：对特征进行标准化处理，提升模型性能。
- predict_proba() ：输出样本属于正类的概率，用于后续AUC和ROC曲线绘制。

4.4.2 评估指标的批量计算与可视化展示

我们将计算TPR、FPR、精确率、召回率、F1值、AUC值，并绘制ROC曲线和PR曲线。

from sklearn.metrics import roc_curve, precision_recall_curve, auc
import matplotlib.pyplot as plt

# 计算ROC曲线
fpr, tpr, thresholds = roc_curve(y_test, y_scores)
roc_auc = auc(fpr, tpr)

# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='blue', lw=2, label=f'ROC curve (AUC = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='gray', lw=1, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic (ROC) Curve')
plt.legend(loc="lower right")
plt.show()

# 计算PR曲线
precision, recall, _ = precision_recall_curve(y_test, y_scores)
pr_auc = auc(recall, precision)

# 绘制PR曲线
plt.figure(figsize=(8, 6))
plt.plot(recall, precision, color='green', lw=2, label=f'PR curve (AUC = {pr_auc:.2f})')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend(loc="lower left")
plt.show()

逻辑分析与参数说明：
- roc_curve() ：计算ROC曲线所需的FPR、TPR和阈值。
- precision_recall_curve() ：计算PR曲线所需的精确率、召回率和阈值。
- 使用 matplotlib 进行可视化展示，帮助更直观地理解模型性能。

本章小结（非总结段，仅作为章节逻辑延续）

通过本章的学习，我们掌握了模型评估中核心指标的数学定义、计算方法以及在Python中的实现流程。从混淆矩阵的构建到TPR、FPR、精确率、召回率等指标的计算，再到AUC值的评估与交叉验证的应用，我们逐步建立了一个完整的模型评估体系。下一章将进一步深入不平衡数据下的模型评估策略，探讨如何在极端类别分布下选择更合适的评估方式。

5. 不平衡数据下的模型评估策略与优化

在机器学习的实际应用中，数据集往往存在类别不平衡的问题，即某一类样本数量远多于另一类。例如，在欺诈检测、医疗诊断、异常检测等场景中，正样本（如欺诈交易、疾病阳性）通常远少于负样本（正常交易、疾病阴性）。在这种情况下，传统的评估指标如准确率（Accuracy）可能会误导模型评估，因为模型倾向于预测为多数类以获得更高的准确率，而忽略了少数类的识别能力。因此，我们需要深入探讨在不平衡数据下更有效的模型评估策略与优化方法。

5.1 类别不平衡对模型评估的影响

5.1.1 准确率的误导性

当数据集中负样本远多于正样本时，即使模型将所有样本预测为负类，其准确率也可能非常高，但这并不能反映模型的真实性能。
例如，假设一个数据集中有 990 个负样本和 10 个正样本：

预测类别	实际为正	实际为负	总计
正	0	0	0
负	10	990	1000
总计	10	990	1000

此时准确率为：
\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} = \frac{0 + 990}{1000} = 99\%
$$
尽管准确率高达 99%，但模型完全未能识别出任何正样本，这显然不能作为评估依据。

5.1.2 混淆矩阵指标的必要性

在不平衡数据中，应优先关注以下指标：

• 召回率（Recall） ：识别正样本的能力
• 精确率（Precision） ：预测为正的样本中有多少是真正的正样本
• F1值 ：精确率与召回率的调和平均，综合考虑两者
• PR曲线与PR-AUC ：在不平衡数据中更具代表性

5.2 不平衡数据下的评估指标选择策略

5.2.1 ROC与PR曲线的对比

ROC曲线在类别分布变化时相对稳定，但在类别极度不平衡时可能不够敏感。相比之下，PR曲线（精确率-召回率曲线）更能反映模型在识别少数类上的表现。

示例代码：绘制ROC与PR曲线对比

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, auc, precision_recall_curve, average_precision_score
import matplotlib.pyplot as plt

# 生成不平衡数据集
X, y = make_classification(n_samples=1000, n_classes=2, weights=[0.9, 0.1], random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)
y_scores = model.predict_proba(X_test)[:, 1]

# ROC曲线
fpr, tpr, _ = roc_curve(y_test, y_scores)
roc_auc = auc(fpr, tpr)

# PR曲线
precision, recall, _ = precision_recall_curve(y_test, y_scores)
pr_auc = average_precision_score(y_test, y_scores)

# 可视化
plt.figure(figsize=(12, 5))

plt.subplot(1, 2, 1)
plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC curve (AUC = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], 'k--', lw=2)
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic (ROC)')
plt.legend(loc="lower right")

plt.subplot(1, 2, 2)
plt.plot(recall, precision, color='blue', lw=2, label=f'PR curve (AUC = {pr_auc:.2f})')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve')
plt.legend(loc="lower left")

plt.tight_layout()
plt.show()

代码说明：
- make_classification 生成了一个类别比例为 9:1 的不平衡数据集。
- 使用 LogisticRegression 模型进行训练与预测。
- 分别计算并绘制了 ROC 曲线与 PR 曲线，并计算了 AUC 值。
- 可视化结果显示 PR 曲线更能反映在不平衡数据下的模型表现差异。

5.2.2 引入代价敏感学习（Cost-Sensitive Learning）

在代价敏感学习中，我们为不同类型的错误赋予不同的代价。例如，将误判正类的代价设为更高，促使模型更加关注少数类的识别。

# 在逻辑回归中设置类别权重
model = LogisticRegression(class_weight='balanced')  # 自动平衡类别权重
model.fit(X_train, y_train)

参数说明：
- class_weight='balanced' ：自动根据类别频率调整权重，使得模型更关注少数类。

5.2.3 分类阈值的调整

默认分类阈值为 0.5，但我们可以根据实际需求调整阈值，提升召回率或精确率。

import numpy as np

# 手动调整分类阈值
threshold = 0.3
y_pred = (y_scores >= threshold).astype(int)

# 计算召回率
from sklearn.metrics import recall_score
print("Recall:", recall_score(y_test, y_pred))

说明：
- 将阈值从 0.5 调低至 0.3，使得更多样本被预测为正类，从而提高召回率。

5.3 实战：不平衡数据下的模型优化流程

5.3.1 数据预处理与采样技术

• 过采样（Oversampling） ：如 SMOTE 算法生成少数类样本。
• 欠采样（Undersampling） ：随机删除多数类样本。
• 组合采样 ：结合过采样与欠采样，如 SMOTE + Tomek Links。

5.3.2 模型选择与调优

• 使用 RandomForestClassifier 或 XGBoost 等对不平衡数据表现较好的模型。
• 结合 GridSearchCV 或 RandomizedSearchCV 进行参数调优，以 PR-AUC 为目标函数。

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {
    'n_estimators': [100, 200],
    'max_depth': [None, 10, 20],
    'class_weight': ['balanced', None]
}

rf = RandomForestClassifier()
grid = GridSearchCV(rf, param_grid, scoring='average_precision', cv=5)
grid.fit(X_train, y_train)

print("Best parameters:", grid.best_params_)
print("Best PR-AUC score:", grid.best_score_)

输出示例：

Best parameters: {'class_weight': 'balanced', 'max_depth': 10, 'n_estimators': 200}
Best PR-AUC score: 0.67

（本章后续内容将在下一部分继续展开，如采样方法实战、阈值优化与模型融合策略等）

本文还有配套的精品资源，点击获取

简介：在机器学习中，评估模型性能是关键环节。本文介绍了使用Python进行模型评估的两个重要指标：ROC曲线与PR曲线，以及对应的AUC值。ROC曲线展示真阳性率与假阳性率之间的关系，适用于二分类问题；而PR曲线则更适合类别不平衡场景，关注精确率与召回率的权衡。通过 sklearn.metrics 库中的 roc_curve 、 precision_recall_curve 和 auc 函数，可以轻松实现曲线绘制与性能评估。本文提供完整Python代码示例，并讲解AUC的计算流程，帮助开发者掌握在实际项目中如何评估和优化分类模型。

本文还有配套的精品资源，点击获取