PyTorch 深度学习笔记（十一）：激活函数在不同 batch size 下的性能对比

1. 核心概念关系

• 激活函数：引入非线性变换的关键组件，如 $f(x) = \max(0, x)$ (ReLU)
• Batch Size：单次训练迭代的样本量，影响梯度估计的方差
• 性能指标：训练速度、收敛稳定性、最终准确率

2. 实验设计框架

import torch
import torch.nn as nn
from torch.utils.data import DataLoader

# 测试函数
def test_performance(activation, batch_size):
    # 构建相同架构的模型（仅激活层不同）
    model = nn.Sequential(
        nn.Linear(784, 256),
        activation(),  # 替换测试点
        nn.Linear(256, 10)
    )
    
    # 数据加载器配置
    loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)
    
    # 记录关键指标
    metrics = {
        'epoch_time': [],
        'loss_variance': [],
        'final_acc': 0.0
    }
    # 训练循环...
    return metrics

3. 关键对比维度

4. 数学原理分析

梯度估计方差随 batch size 变化： $$ \text{Var}(\nabla_W) \propto \frac{1}{B} \sum_{i=1}^{B} \left| \nabla_{W} \ell(x_i) - \bar{\nabla} \right|^2 $$ 其中 $B$ 为 batch size，$\ell$ 为损失函数。激活函数的导数特性直接影响方差项。

5. 实用结论

1. 小 batch 场景 (B ≤ 64)

   • 优先选择 ReLU 系激活函数
   • 需配合梯度裁剪（nn.utils.clip_grad_norm_）
   • 学习率建议：$ \eta \propto \sqrt{B} $

2. 大 batch 场景 (B ≥ 512)

   • 推荐 Swish 或 ELU 激活函数
   • 需增加权重衰减（optim.Adam(weight_decay=1e-4)）
   • 学习率建议：$ \eta \propto B / 256 $

6. 可视化建议

# 绘制损失曲面示例
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

def plot_loss_landscape(activations, batch_sizes):
    fig = plt.figure(figsize=(12, 8))
    ax = fig.add_subplot(111, projection='3d')
    
    # 生成网格数据
    X, Y = np.meshgrid(activations, batch_sizes)
    Z = compute_loss(X, Y)  # 伪代码函数
    
    ax.plot_surface(X, Y, Z, cmap='viridis')
    ax.set_xlabel('Activation Functions')
    ax.set_ylabel('Batch Size')
    ax.set_zlabel('Loss Value')

注：实际应用中建议使用 PyTorch Viz 进行动态分析

7. 工程实践建议

• 内存受限时：小 batch + ReLU + 梯度累积
• 追求收敛速度：大 batch + GeLU + LayerNorm
• 敏感任务 (如医疗影像)：中等 batch (128~256) + SELU 激活函数

通过调节 batch size 与激活函数的组合，可优化 15%~30% 的训练效率，具体效果需在实际任务中验证。