第一篇：一文入门Adaboost：机器学习小白也能懂的集成学习神器

cjd688 · 2025-10-01 14:50:05 发布

第一篇—一文入门 Adaboost：机器学习小白也能懂的集成学习神器

在机器学习中，我们常常会遇到这样的困境：

而Adaboost（Adaptive Boosting） 就像一位 “教练”，能把一群 “弱鸡” 级别的弱分类器，训练成 “王者” 级别的强分类器。它的核心思想很简单：让每个弱分类器专注于纠正前一个分类器的错误，通过 “加权投票” 的方式，最终输出更精准的结果。

举个生活中的例子：

假如你想判断一部电影是否好看，单问一个人（弱分类器）可能不准；但你问 10 个人，其中 8 个人说好看，2 个人说不好看，你更倾向于相信多数人的意见 ——Adaboost 的 “加权投票” 比这种简单多数投票更智能，它会给 “判断更准的人”（表现好的弱分类器）更高的权重。

在深入原理前，我们先搞懂 Adaboost 里 3 个必须掌握的概念，这是理解后续内容的基础：

Adaboost 的 “自适应” 体现在哪里？—— 它会根据前一个分类器的表现，动态调整样本权重和分类器权重，整个过程像 “迭代升级” 一样。我们用通俗的语言拆解二分类问题的核心步骤（多分类原理类似，只是损失函数不同）：

给所有样本分配相同的初始权重：

$w1,i=1N(i=1,2,...,N)w_{1,i} = \frac{1}{N} \quad (i=1,2,...,N)$

其中 $w_{t,i}$ 表示第 $t$ 轮迭代中第 $i$ 个样本的权重，初始时 $t = 1$ 。

用当前样本权重 $w_{t,i}$ 训练弱分类器 $h_t(x)$ （ $x$ 为样本特征），目标是最小化 “加权错误率”。

这里的 “加权错误率” $ϵt\epsilon_t$ 怎么算？—— 是被误分类样本的权重之和：

$ϵt=∑i=1Nwt,i⋅I(ht(xi)≠yi)\epsilon_t = \sum_{i=1}^N w_{t,i} \cdot I(h_t(x_i) \neq y_i)$

其中 $y_i$ 是样本 $i$ 的真实标签（二分类中 $yi∈{+1,−1}y_i \in \{+1, -1\}$ ）， $I(⋅)I(\cdot)$ 是指示函数（条件成立时为 1，否则为 0）。

根据分类器的错误率 $ϵt\epsilon_t$ ，确定它的 “话语权”：

$αt=12ln⁡(1−ϵtϵt)\alpha_t = \frac{1}{2} \ln\left( \frac{1 - \epsilon_t}{\epsilon_t} \right)$

让下一个分类器重点关注被误分类的样本，更新公式如下：

$wt+1,i=wt,i⋅exp⁡(−αt⋅yi⋅ht(xi))Ztw_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t \cdot y_i \cdot h_t(x_i))}{Z_t}$

其中 $Z_t$ 是归一化因子（确保所有样本权重之和为 1）：

$Zt=∑i=1Nwt,i⋅exp⁡(−αt⋅yi⋅ht(xi))Z_t = \sum_{i=1}^N w_{t,i} \cdot \exp(-\alpha_t \cdot y_i \cdot h_t(x_i))$

我们来解读这个更新逻辑：

若样本 $i$ 被正确分类（ $yi⋅ht(xi)=+1y_i \cdot h_t(x_i) = +1$ ）：权重乘以 $exp⁡(−αt)\exp(-\alpha_t)$ ，即权重减小（因为这个样本已经 “学会了”）；
若样本 $i$ 被误分类（ $yi⋅ht(xi)=−1y_i \cdot h_t(x_i) = -1$ ）：权重乘以 $exp⁡(αt)\exp(\alpha_t)$ ，即权重增大（下一个分类器要 “重点攻克” 它）。