PyTorch 深度学习笔记（十一）：非线性激活函数的导数计算与反向传播原理

ajskghd

867人浏览 · 2025-10-24 20:37:13

ajskghd · 2025-10-24 20:37:13 发布

PyTorch 深度学习笔记（十一）：非线性激活函数的导数计算与反向传播原理

在深度学习中，非线性激活函数是神经网络模型的关键组成部分，它们引入非线性特性，使模型能够学习复杂模式。本笔记将逐步讲解常见非线性激活函数的导数计算原理，以及这些导数在反向传播中的作用。重点聚焦于PyTorch框架的实现方式，确保理解真实可靠。PyTorch通过自动微分系统（autograd）高效处理这些计算。

1. 非线性激活函数概述

非线性激活函数的作用是打破线性变换的局限性，常见的函数包括：

ReLU (Rectified Linear Unit)：$f(x) = \max(0, x)$，计算高效，常用于隐藏层。
Sigmoid：$f(x) = \frac{1}{1 + e^{-x}}$，输出范围在0到1之间，适合二分类输出层。
Tanh：$f(x) = \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$，输出范围在-1到1之间，适合中间层。
Leaky ReLU：$f(x) = \begin{cases} x & \text{if } x > 0 \ \alpha x & \text{if } x \leq 0 \end{cases}$，其中 $\alpha$ 是一个小常数（如0.01），解决ReLU的“死亡神经元”问题。

这些函数在正向传播中应用后，在反向传播中需要计算其导数（梯度），以更新模型权重。

2. 导数计算原理

在反向传播中，激活函数的导数用于计算损失函数对输入数据的梯度。以下是常见激活函数的导数公式：

ReLU 的导数：ReLU 在 $x > 0$ 时导数为1，在 $x < 0$ 时导数为0，在 $x = 0$ 时不可导（通常处理为0）。公式为： $$ f'(x) = \begin{cases} 1 & \text{if } x > 0 \ 0 & \text{if } x \leq 0 \end{cases} $$ 在PyTorch中，ReLU 梯度计算简单高效。
Sigmoid 的导数：Sigmoid 的导数可以通过其自身值表示，计算式为： $$ f'(x) = f(x) \cdot (1 - f(x)) $$ 其中 $f(x)$ 是 Sigmoid 输出。例如，如果 $f(x) = 0.7$，则梯度为 $0.7 \times 0.3 = 0.21$。这表示梯度在输出接近0或1时变小，可能导致梯度消失。
Tanh 的导数：Tanh 的导数也基于其输出： $$ f'(x) = 1 - (f(x))^2 $$ 例如，如果 $f(x) = 0.5$，则梯度为 $1 - 0.25 = 0.75$。Tanh 梯度范围在0到1之间，优于Sigmoid。
Leaky ReLU 的导数： $$ f'(x) = \begin{cases} 1 & \text{if } x > 0 \ \alpha & \text{if } x \leq 0 \end{cases} $$ 其中 $\alpha$ 是超参数（如0.01），确保负输入时梯度不为零。

这些导数在数学上可导，但实际计算中需注意数值稳定性（如避免除以零）。

3. 反向传播原理与PyTorch实现

反向传播是训练神经网络的核心算法，它通过链式法则计算损失函数对权重的梯度。激活函数的导数在此过程中扮演关键角色：

链式法则：假设损失函数为 $L$，激活函数输出为 $a = f(z)$（$z$ 是线性变换结果），则梯度计算为： $$ \frac{\partial L}{\partial z} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} $$ 其中 $\frac{\partial a}{\partial z}$ 就是激活函数的导数。
PyTorch的autograd机制：PyTorch使用动态计算图自动跟踪所有操作。当调用 .backward() 方法时，系统从损失函数开始反向遍历图，应用链式法则计算梯度。激活函数的导数被内置在PyTorch函数中，例如：
- torch.nn.ReLU() 自动计算其梯度。
- torch.sigmoid() 在反向传播时使用 $f'(x) = f(x)(1 - f(x))$ 公式。这避免了手动计算，提高了开发效率。

4. 代码示例：PyTorch中激活函数的导数与反向传播

以下Python代码演示了如何在PyTorch中使用ReLU函数，并观察其导数在反向传播中的作用。代码包括正向传播、损失计算和反向传播步骤。

import torch
import torch.nn as nn

# 定义简单网络：一个全连接层 + ReLU激活
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc = nn.Linear(2, 1)  # 输入维度2，输出维度1
        self.relu = nn.ReLU()       # 使用ReLU激活函数

    def forward(self, x):
        x = self.fc(x)
        x = self.relu(x)  # 应用ReLU
        return x

# 初始化模型、输入数据和标签
model = SimpleNet()
input_data = torch.tensor([1.0, -2.0], requires_grad=True)  # 设置requires_grad=True以跟踪梯度
target = torch.tensor([0.5])  # 目标值

# 正向传播
output = model(input_data)
print("正向传播输出:", output.item())  # 输出: 例如, 如果fc权重使z<0, 则输出0

# 计算损失（均方误差）
loss_fn = nn.MSELoss()
loss = loss_fn(output, target)
print("损失值:", loss.item())

# 反向传播
loss.backward()  # 自动计算梯度

# 查看梯度：激活函数的导数影响输入梯度
print("输入数据的梯度:", input_data.grad)  # 输出: 例如, 如果ReLU输出0 (因为输入<0), 则梯度为0

解释代码：