1. 正则化(Regularization)

1. 过拟合

过拟合指机器学习模型在训练数据上表现完美，但在新数据（测试数据）上表现很差的现象。

• 原因：机器没有学习到数据背后的规律，而是把训练数据中的特例、噪声甚至随机波动都当成了规律来学习，导致模型变得过于复杂和专门化，失去了泛化到新数据的能力。

• 对策：

  • 舍弃无关特征，或对某些特征进行算法处理（降维、聚类等）

  • 正则化：保留所有的特征，但是减少参数的大小

1. 正则化

1. 核心思想：通过向模型的损失函数添加一个“惩罚项”，来限制模型的复杂度，从而防止过拟合。

2. 数学公式：

• 没有正则化的目标：最小化损失函数 Minimize(Loss)

• 有正则化的目标：最小化 【损失函数 + λ * 惩罚项】，即 Minimize(Loss + λ * Penalty)

  • 惩罚项 (Penalty)：通常与模型权重参数（w）的大小直接相关。权重越大，惩罚项越大。它惩罚那些“特别大”的权重值。

    • 权重值大，意味着模型非常“看重”对应的那个特征，即使该特征发生微小的变化，也会导致输出的巨大波动,这通常是模型拟合了噪声和异常点的标志。

    • 通过限制权重值的大小，模型会变得更平滑、更稳定，泛化能力更强。

  • λ (Lambda)：正则化强度，是一个超参数。它控制你有多重视“保持模型简单”这个目标。

    • λ = 0：正则化失效，退回到原模型。

    • λ → 非常大：模型会变得非常非常简单（比如所有权重趋近于0），可能导致欠拟合。

    • 我们需要选择一个合适的 λ，在“拟合训练数据”和“保持模型简单”之间找到最佳平衡。

1. 正则化类型：

• L2正则化（岭回归）

  • 核心思想：通过惩罚模型权重的平方大小，来限制模型的复杂度。它致力于让所有特征的权重都变得“小一点”，避免任何单一特征对预测结果产生过大的影响，使模型更加稳定和平滑。

  • 数学公式：优化后的目标函数为：

• 特点：

  • 收缩效应：随着 λ增大，所有权重都会被均匀地收缩，趋近于零但永远不会真正等于零。

  • 保留所有特征：即使某个特征不重要，它的权重也只会变得很小，而不会被完全移除。因此，最终模型会包含所有输入特征。

  • 稳定性：对于数据中的微小扰动（噪声）不敏感，模型方差更低，泛化能力更强。

• 适用范围：

  • 数据特征：当数据中存在大量特征，且这些特征都对因变量有影响（只是重要性不同）

  • 主要目的：防止过拟合，提高模型的泛化能力，而不关心特征选择。

• L1正则化（套索回归）

  • 核心思想：通过惩罚模型权重（系数）的绝对值大小，来限制模型的复杂度。它不仅致力于降低权重，更拥有一种“选择”能力，可以将不重要特征的权重彻底设置为零。

  • 数学公式：优化后的目标函数为：

• • 特点：

    • 稀疏化效应：这是Lasso最核心的特点。随着λ增大，它会将不重要特征的权重精确地压缩至零。

    • 特征选择：由于会产生稀疏权重向量，Lasso本质上完成了一次特征选择。最终模型只保留那些对预测目标最重要的特征，模型变得非常简单和可解释。

  • 适用范围：

    • 数据特征：数据中许多特征是完全无关、冗余或共线性的

    • 主要目的：自动进行特征选择，得到一个更简单、更易于解释的模型。