1. 决策树：机器学习的"基础积木"

决策树就像我们日常做决策时的思维过程。想象一下你要买水果，首先会看颜色（红色还是绿色？），然后摸手感（硬还是软？），最后可能还会闻气味——这就是一个典型的决策树思维。在机器学习中，决策树通过递归地将数据集分割成更小的子集来工作，每次分割都基于某个特征的最佳划分。

信息熵是决策树的核心概念之一，它量化了数据的不确定性。计算公式看起来有点吓人：H(X)=-Σp(x)log₂p(x)，但其实理解起来很简单——就像衡量一袋混合糖果的混乱程度。纯巧克力糖的熵为0（完全确定），而各占50%的巧克力和水果糖混合包的熵达到最大值1。

实际应用中，我常使用scikit-learn快速构建决策树分类器：

from sklearn.tree import DecisionTreeClassifier
clf = DecisionTreeClassifier(criterion='gini', max_depth=3)
clf.fit(X_train, y_train)

这里criterion参数可以选择'gini'（基尼系数）或'entropy'（信息增益），而max_depth控制树的最大深度防止过拟合。决策树最大的优点是可解释性强——你可以直接把训练好的树可视化出来，看到完整的决策路径。

但决策树有个致命弱点：容易过拟合。一棵不受限制的树会一直分裂直到每个叶子节点完全"纯净"，这样的模型在训练集上表现完美，但在新数据上往往惨不忍睹。我在早期项目中就踩过这个坑，当时测试集准确率比训练集低了近30个百分点。

2. 随机森林：民主投票的力量

随机森林(Random Forest)的核心理念很朴素：与其相信一棵树，不如相信一群树的集体智慧。这就像医生会诊——多位专家的综合判断通常比单个医生的诊断更可靠。

技术实现上，随机森林通过双重随机性构建多样性：

1. 数据随机：对原始数据集进行有放回抽样(bootstrap)
2. 特征随机：每个节点分裂时只在随机子集中选择最优特征

这种设计带来了三大优势：

• 显著降低过拟合风险
• 可以天然评估特征重要性
• 对异常值和噪声更鲁棒

在电商用户流失预测项目中，我对比过单棵决策树和随机森林的表现：

指标	决策树	随机森林
训练集准确率	0.98	0.96
测试集准确率	0.82	0.89
训练时间(s)	0.3	2.1

可以看到随机森林牺牲了一些训练速度，但获得了更好的泛化能力。实际应用中，我通常会这样调参：

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(
    n_estimators=200,
    max_features='sqrt',
    min_samples_leaf=5,
    n_jobs=-1  # 使用所有CPU核心
)

这里n_estimators控制树的数量，实践表明200-500棵树通常足够，继续增加带来的提升有限。max_features建议设为特征总数的平方根，这是经过大量实验验证的黄金比例。

3. Boosting家族：从Adaboost到GBDT

Boosting的思想很励志：通过持续改进弱学习器的表现，最终组合成强学习器。这就像学生刷题——每次重点关注做错的题目，逐步提高总分。

Adaboost是最早的boosting算法之一，它的核心在于：

• 增加被误分类样本的权重
• 根据准确率给每个弱分类器分配权重
• 最终预测是加权投票结果

我曾在信用卡欺诈检测中使用Adaboost，发现它对类别不平衡数据特别有效。但Adaboost有个局限：只能处理分类问题。

GBDT（梯度提升决策树）则更进一步，用负梯度代替残差进行拟合，可以同时处理分类和回归问题。它的训练过程像这样：

1. 第一棵树拟合原始目标值
2. 第二棵树拟合第一棵树的预测残差
3. 第三棵树拟合前两棵树的组合残差
4. 以此类推...

GBDT中最关键的参数是学习率(learning_rate)，它控制每棵树对最终结果的贡献程度。通常我会用网格搜索寻找最佳组合：

from sklearn.ensemble import GradientBoostingClassifier
params = {
    'learning_rate': [0.01, 0.1],
    'n_estimators': [100, 200],
    'max_depth': [3, 5]
}
grid = GridSearchCV(GradientBoostingClassifier(), params, cv=5)
grid.fit(X_train, y_train)

GBDT相比随机森林通常需要更深的树（max_depth一般在3-8之间），但树的数量(n_estimators)可以少一些。要注意的是，GBDT训练时间往往更长，且对参数更敏感。

4. XGBoost与LightGBM：工程优化的艺术

XGBoost可以看作是GBDT的"工业增强版"，它在以下方面做了创新：

• 正则化项控制模型复杂度
• 二阶泰勒展开更精确近似损失函数
• 分块并行和缓存优化加速训练
• 稀疏感知自动处理缺失值

在Kaggle竞赛中，XGBoost长期占据主导地位。我常用的调参套路是：

1. 固定学习率(如0.1)，用CV确定最佳树数量
2. 调整树参数(max_depth, min_child_weight)
3. 调整正则化参数(gamma, lambda, alpha)
4. 降低学习率并增加树数量

import xgboost as xgb
params = {
    'objective': 'binary:logistic',
    'learning_rate': 0.1,
    'max_depth': 6,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'eval_metric': 'auc'
}
model = xgb.train(params, dtrain, num_boost_round=200)

而LightGBM则更进一步，提出了几种革命性优化：

1. 直方图算法：将连续特征离散化为bins，大幅减少内存占用
2. Leaf-wise生长策略：只分裂增益最大的叶子，而非level-wise
3. GOSS采样：保留大梯度样本，随机采样小梯度样本
4. EFB捆绑：合并互斥特征降低维度

在实际业务中，当数据量超过100万条时，LightGBM的速度优势就非常明显了。这是我处理大规模数据时的标准配置：

import lightgbm as lgb
params = {
    'boosting_type': 'gbdt',
    'objective': 'binary',
    'metric': 'auc',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5
}
model = lgb.train(params, train_data, valid_sets=[valid_data])

特别提醒：LightGBM的num_leaves参数相当于控制模型复杂度，一般设为2^(max_depth)左右。与XGBoost不同，LightGBM默认使用leaf-wise生长，所以需要适当限制max_depth防止过拟合。

5. 模型选型实战指南

面对具体业务问题时，如何选择合适的树模型？根据我的项目经验，可以遵循以下决策流程：

数据量较小时(<10万样本)

• 优先尝试随机森林，调参简单不易过拟合
• 若需要更好效果，使用XGBoost配合交叉验证
• 避免使用LightGBM，小数据下其优势不明显

数据量中等时(10万-100万)

• XGBoost和LightGBM都可以尝试
• 类别特征多时LightGBM有天然优势
• 需要特征重要性分析时两者都很适合

大数据场景(>100万)

• 首选LightGBM，训练速度和内存占用优势明显
• 使用feature_fraction和bagging_fraction加速训练
• 考虑启用GPU支持进一步提速

在特征工程方面，树模型对单调变换不敏感（如标准化），但对以下处理很受益：

• 缺失值填充（树模型通常能自动处理）
• 类别特征编码（LightGBM直接支持）
• 特征交叉（提升非线性表达能力）

最后分享一个调参技巧：早停机制(early stopping)能自动找到最佳迭代次数，避免不必要的计算：

model = lgb.train(
    params,
    train_data,
    valid_sets=[valid_data],
    early_stopping_rounds=50,
    verbose_eval=10
)

这个设置会在验证集指标连续50轮不提升时停止训练，verbose_eval=10表示每10轮打印一次评估结果。