深度学习基础理论————常见评价指标以及Loss Function
常见评价指标
准确率(Accuracy)
分类任务中最直观的指标,计算公式为:
$$ \text{Accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}} $$
适用于类别均衡的场景,但对不均衡数据集可能产生误导。
精确率(Precision)与召回率(Recall)
- 精确率衡量模型预测为正类中实际为正类的比例:
$$ \text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}} $$ - 召回率衡量实际为正类中被正确预测的比例:
$$ \text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}} $$
F1 Score
精确率与召回率的调和平均,适用于不均衡数据:
$$ F_1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$
ROC-AUC
通过绘制真正类率(TPR)与假正类率(FPR)的曲线下面积评估模型性能,值越接近1性能越好。
$$ \text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}}, \quad \text{FPR} = \frac{\text{FP}}{\text{FP} + \text{TN}} $$
均方误差(MSE)与平均绝对误差(MAE)
回归任务常用指标:
- MSE对异常值敏感:
$$ \text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 $$ - MAE更鲁棒:
$$ \text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_i - \hat{y}_i| $$
常见损失函数
交叉熵损失(Cross-Entropy Loss)
分类任务的标准损失函数,尤其适用于多分类:
$$ \mathcal{L} = -\sum_{i=1}^C y_i \log(p_i) $$
其中$y_i$为真实标签,$p_i$为预测概率。
均方误差损失(MSE Loss)
回归任务的基础损失函数,数学形式与评价指标MSE一致:
$$ \mathcal{L} = \frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 $$
Huber Loss
结合MSE与MAE的优点,对异常值鲁棒:
$$ \mathcal{L} = \begin{cases} \frac{1}{2}(y - \hat{y})^2 & \text{if } |y - \hat{y}| \leq \delta \ \delta |y - \hat{y}| - \frac{1}{2}\delta^2 & \text{otherwise} \end{cases} $$
$\delta$为超参数,控制线性与二次区域的阈值。
对比损失(Contrastive Loss)
用于度量学习,拉近相似样本距离,推开不相似样本:
$$ \mathcal{L} = (1 - Y) \frac{1}{2} D^2 + Y \frac{1}{2} \max(0, m - D)^2 $$
其中$D$为样本间距离,$Y$为相似性标签(0/1),$m$为间隔阈值。
Dice Loss
图像分割中常用,处理类别不均衡问题:
$$ \mathcal{L} = 1 - \frac{2 \sum p_i y_i}{\sum p_i + \sum y_i} $$
$p_i$为预测概率,$y_i$为真实标签。
更多推荐


所有评论(0)