1. 当R2_score变成负数时，到底发生了什么？

第一次在sklearn中看到R2_score出现负值时，我和大多数初学者一样感到困惑。毕竟这个指标的取值范围理论上是负无穷到1，1表示完美预测，0表示模型和直接用均值预测效果相当，那负数意味着什么？简单来说，当R2_score为负时，你的模型预测效果比直接用y的平均值来预测还要差。

举个例子，假设你要预测房价，测试集里房子的平均价格是100万。如果直接用100万作为所有房子的预测值，R2_score就是0。而如果你的模型预测结果让R2_score变成了-0.5，那就意味着你的模型连"所有房子都值100万"这种毫无信息量的预测都不如。

这种情况在实际项目中并不少见。我最近处理的一个工业设备故障预测项目就遇到了这个问题。初始的线性回归模型R2_score竟然是-2.3，这意味着模型预测结果和真实值的偏差，比直接用设备故障率的平均值预测还要糟糕2.3倍。

2. 为什么会出现负的R2_score？

2.1 模型严重欠拟合

欠拟合是最常见的原因之一。当模型过于简单，无法捕捉数据中的基本模式时，就可能出现这种情况。比如用线性回归去拟合明显非线性的数据：

from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
import numpy as np

# 生成明显的非线性数据
X = np.linspace(0, 10, 100)
y = np.sin(X) + np.random.normal(0, 0.1, 100)

# 尝试用线性模型拟合
model = LinearRegression()
model.fit(X.reshape(-1,1), y)
preds = model.predict(X.reshape(-1,1))

print(f"R2_score: {r2_score(y, preds)}")  # 通常会得到负值

2.2 数据分布与模型假设严重不符

每个模型都有其假设。线性回归假设特征是线性相关的，树模型假设可以通过分段常数来近似关系。如果数据分布与这些假设严重不符，模型就会表现很差。

我曾经遇到一个案例：用户用随机森林预测具有明显周期性变化的数据，R2_score始终为负。后来发现是因为数据具有强烈的正弦波动特征，而树模型难以捕捉这种连续、平滑的变化模式。

2.3 数据泄露或预处理错误

数据泄露是指训练过程中意外使用了测试集信息。常见的情况包括：

• 在特征工程时使用了全局统计量（如全量数据的均值、最大值）
• 在标准化/归一化时没有正确划分训练测试集
• 时间序列数据中未来信息混入了当前特征

预处理错误也很致命。比如对目标变量做了标准化，但在评估时忘记将预测值转换回原始尺度。

3. 系统性诊断流程

3.1 检查基线模型表现

首先应该建立一个最简单的基线模型作为参照。对于回归问题，通常有两种基线：

1. 预测测试集目标的平均值（DummyRegressor）
2. 预测训练集目标的平均值

from sklearn.dummy import DummyRegressor

dummy = DummyRegressor(strategy='mean')
dummy.fit(X_train, y_train)
dummy_preds = dummy.predict(X_test)

print(f"基线R2_score: {r2_score(y_test, dummy_preds)}")  # 应该接近0

如果你的模型R2_score比这个基线还差，那就需要深入排查了。

3.2 验证数据划分是否正确

错误的数据划分会导致评估失真。特别是对于时间序列数据，随机划分会导致数据泄露。正确的做法是：

1. 确保训练集和测试集来自同分布
2. 时间序列要按时间划分
3. 分类问题要保持类别比例

3.3 检查特征与目标的关系

可视化是发现问题的好方法。对于每个特征，可以绘制其与目标变量的散点图：

import matplotlib.pyplot as plt

plt.figure(figsize=(10,6))
plt.scatter(X_train[:,0], y_train, alpha=0.3)
plt.xlabel('Feature 1')
plt.ylabel('Target')
plt.title('Feature-Target Relationship')
plt.show()

如果图中看不出任何明显模式，说明特征可能没有预测力，或者需要更复杂的特征工程。

4. 实战调优策略

4.1 线性模型的调优

对于线性回归，可以尝试：

1. 添加多项式特征
2. 引入正则化（Ridge/Lasso）
3. 检查特征共线性

from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import Ridge
from sklearn.pipeline import make_pipeline

# 多项式特征+正则化
model = make_pipeline(
    PolynomialFeatures(degree=3),
    Ridge(alpha=0.1)
)
model.fit(X_train, y_train)
preds = model.predict(X_test)

print(f"改进后R2_score: {r2_score(y_test, preds)}")

4.2 树模型的调优

对于随机森林或GBDT：

1. 调整max_depth避免欠拟合
2. 增加n_estimators
3. 检查特征重要性

from sklearn.ensemble import RandomForestRegressor

model = RandomForestRegressor(
    n_estimators=200,
    max_depth=10,
    min_samples_leaf=3,
    random_state=42
)
model.fit(X_train, y_train)

# 查看特征重要性
importances = model.feature_importances_
plt.barh(range(len(importances)), importances)
plt.yticks(range(len(importances)), feature_names)
plt.show()

4.3 模型切换策略

当调参无法解决问题时，考虑换模型：

1. 对于周期性数据：尝试傅里叶特征+线性模型
2. 对于复杂非线性关系：尝试SVM或神经网络
3. 对于稀疏高维数据：考虑Lasso或ElasticNet

在我的一个项目中，将线性模型切换到简单的MLP后，R2_score从-0.8提升到了0.75：

from sklearn.neural_network import MLPRegressor

model = MLPRegressor(
    hidden_layer_sizes=(50,20),
    activation='relu',
    solver='adam',
    max_iter=1000,
    random_state=42
)
model.fit(X_train, y_train)

5. 预防负R2_score的最佳实践

1. 始终建立基线模型：在开发复杂模型前，先运行DummyRegressor作为基准
2. 交叉验证：使用k折交叉验证评估模型稳定性
3. 早停机制：监控验证集表现，防止过拟合
4. 模型诊断工具：学习使用partial dependence plot、SHAP值等工具理解模型行为
5. 迭代式开发：从简单模型开始，逐步增加复杂度

记得有一次，我花了三天时间调参试图提升一个R2_score为负的模型，最后发现是因为在特征工程时错误地计算了滚动平均值，导致数据泄露。这个教训让我养成了在建模前仔细检查数据预处理流程的习惯。