从感知机到多层感知机：深度学习入门的核心逻辑

Wah-Aug

694人浏览 · 2025-09-18 13:41:42

Wah-Aug · 2025-09-18 13:41:42 发布

在深度学习的庞大体系中，感知机（Perceptron） 是一切神经网络的 “基石”—— 它不仅是首个具有现代意义的人工神经网络模型，更是理解多层感知机（MLP）、卷积神经网络（CNN）等复杂模型的关键起点。从感知机的基础原理出发，逐步拆解其局限性，最终深入多层感知机的结构、激活函数、训练逻辑与实践要点，带大家完整掌握这一入门级深度学习模型。

一、感知机：人工神经元的 “雏形”

感知机由美国学者 Frank Rosenblatt 于 1957 年提出，其设计灵感源于生物神经元的工作机制：接收输入信号，通过权重调整信号重要性，再通过 “激活条件” 决定是否输出信号。

1.1 感知机的核心构成与数学表达

感知机的核心是输入、权重、偏差三大组件，最终通过简单的逻辑输出二分类结果（0 或 1）。

（1）核心参数定义

输入（x）：模型接收的原始信号，例如逻辑电路中的 “0/1 输入”、图像识别中的 “像素值” 等，通常用x1,x2,...,xn表示多个输入。
权重（w）：控制每个输入信号的 “重要性”—— 权重越大，对应输入对输出的影响越强，用w1,w2,...,wn表示，与输入一一对应。
偏差（b）：调整神经元 “激活难度” 的参数 —— 偏差越大，神经元越容易输出 1（被激活）；偏差越小，越难激活。

（2）输出公式

感知机的输出逻辑可拆解为两步：

计算输入信号的加权和 + 偏差：z=b+w1x1+w2x2+...+wnxn；
通过阶跃函数判断输出（二分类）：

y={01若 z≤0若 z>0

（3）感知机与其他任务的区别

感知机本质是二分类模型，与另外两种常见任务的输出逻辑有明确差异：

对比回归任务：回归输出 “连续实数”（如预测房价），而非离散的 0/1；
对比多分类任务（Softmax）：Softmax 输出 “每个类别的概率”（概率和为 1），适用于多类别场景（如识别猫 /（如识别猫 / 狗 / 鸟）。

1.2 感知机的经典应用：实现简单逻辑电路

感知机的最直观应用是模拟基础逻辑门，通过调整权重（w）和偏差（b），可轻松实现与门、与非门、或门。我们通过真值表和具体参数示例来验证：

（1）与门：两个输入均为 1 时输出 1

与门的真值表如下：

输入x1	输入x2	输出y
0	0	0
1	0	0
0	1	0
1	1	1

满足与门条件的感知机参数（示例）：
(w1,w2,b)=(0.5,0.5,−0.7)、(0.5,0.5,−0.8) 或 (1.0,1.0,−1.0)。

验证：当x1=1,x2=1时，z=−0.7+0.5×1+0.5×1=0.3>0，输出 1；当x1=1,x2=0时，z=−0.7+0.5×1+0.5×0=−0.2≤0，输出 0，完全匹配与门逻辑。

（2）与非门：两个输入均为 1 时输出 0

与非门是与门的 “反向”，真值表与参数如下：

输入x1	输入x2	输出y
0	0	1
1	0	1
0	1	1
1	1	0

满足与非门的参数示例：(w1,w2,b)=(−0.5,−0.5,0.7)。

验证：当x1=1,x2=1时，z=0.7+(−0.5)×1+(−0.5)×1=−0.3≤0，输出 0；当x1=0,x2=0时，z=0.7+0=0.7>0，输出 1，符合与非门逻辑。

（3）或门：任意输入为 1 时输出 1

或门的真值表与参数如下：

输入x1	输入x2	输出y
0	0	0
1	0	1
0	1	1
1	1	1

满足或门的参数示例：(w1,w2,b)=(0.5,0.5,−0.3)。

验证：当x1=1,x2=0时，z=−0.3+0.5×1+0=0.2>0，输出 1；当x1=0,x2=0时，z=−0.3≤0，输出 0，匹配或门逻辑。

（4）异或门：感知机的 “瓶颈”

异或门的逻辑是 “输入不同时输出 1，输入相同时输出 0”，真值表如下：

输入x1	输入x2	输出y
0	0	0
1	0	1
0	1	1
1	1	0

此时，无论如何调整w1,w2,b，单层感知机都无法实现异或门—— 这正是感知机的核心局限性。

1.3 感知机的局限性：只能处理 “线性可分” 问题

为什么单层感知机无法实现异或门？核心原因是：感知机只能表示 “由一条直线分割的空间”（即线性可分空间）

我们可以用 “二维平面” 理解：将输入(x1,x2)看作平面上的点，输出 0 和 1 的点需要被一条直线分开才是 “线性可分”。

与门、与非门、或门的输入点都能被某条直线分割（例如与门的分割线是0.5x1+0.5x2−0.7=0）；
而异或门的输入点（0,0）、（1,1）输出 0，（1,0）、（0,1）输出 1，这四个点无法用一条直线分割 —— 属于 “线性不可分” 问题。

要解决线性不可分问题，就需要引入 “非线性” 结构 —— 这正是多层感知机的诞生背景。

二、多层感知机（MLP）：突破线性局限的 “第一次升级”

多层感知机（Multi-Layer Perceptron，简称 MLP）是在单层感知机基础上增加 “隐藏层” 的神经网络，也是最简单的 “深度神经网络”（DNN）。通过隐藏层的 “非线性组合”，MLP 可以轻松处理异或门这类线性不可分问题。

2.1 MLP 的核心结构：输入层→隐藏层→输出层

MLP 的结构分为三层，其中 “隐藏层” 是关键（可多层）：

输入层：接收原始数据，神经元数量等于输入特征数（例如处理异或门时，输入层有 2 个神经元，对应x1,x2）；
隐藏层：位于输入层和输出层之间，通过非线性激活函数对输入信号进行 “重组”，神经元数量（隐藏层大小）是超参数（需人工或通过调参确定）；
输出层：输出模型结果，神经元数量根据任务确定（二分类用 1 个，多分类用类别数，回归用 1 个）。

以 “单隐藏层 MLP 实现异或门” 为例：
假设隐藏层有 2 个神经元（h1,h2），输出层有 1 个神经元（y）。

输入x1,x2先传递到隐藏层，h1模拟 “或非门”，h2模拟 “与门”；
隐藏层的输出（h1,h2）再传递到输出层，输出层模拟 “或门”；
最终通过三层组合，实现异或门逻辑（具体参数可通过训练得到）。

2.2 MLP 的超参数：控制模型复杂度的关键

MLP 的超参数直接影响模型性能，核心有两个：

隐藏层数量：从 “单隐藏层” 到 “多隐藏层”（例如 2 层、3 层），层数越多，模型拟合能力越强，但训练难度也越大；
每层隐藏单元数：每个隐藏层的神经元数量（例如隐藏层 1 有 5 个神经元，隐藏层 2 有 3 个神经元），数量越多，模型可学习的 “特征组合” 越丰富，但易过拟合。

例如一个处理 “4 维输入（x1−x4）、3 维输出（o1−o3）” 的单隐藏层 MLP：
输入层（4 个神经元）→ 隐藏层（5 个神经元，h1−h5）→ 输出层（3 个神经元），其参数总量为：
(4+1)×5+(5+1)×3=25+18=43（每个神经元的偏差需单独计算，故输入层到隐藏层的权重矩阵是(4+1)×5，隐藏层到输出层是(5+1)×3）。

三、激活函数：MLP 实现非线性的 “核心部件”

如果没有激活函数，即使有多层隐藏层，MLP 也只是 “线性组合”（多层线性函数的叠加仍是线性函数），无法解决线性不可分问题。激活函数的作用是将 “输入信号的加权和” 转换为 “非线性输出”，是 MLP 实现非线性的关键。

3.1 激活函数的三大核心性质

为了保证模型可训练、效率高，激活函数需满足以下性质：

连续且可导（允许少数点不可导）：保证反向传播时能计算梯度（梯度是参数更新的基础）；
函数与导函数简单：减少计算量，提高训练效率（例如 ReLU 函数比复杂的非线性函数计算更快）；
导数值域合适：避免 “梯度消失”（导数值过小，参数更新缓慢）或 “梯度爆炸”（导数值过大，参数震荡）。

3.2 常见激活函数及其特点

课件中重点介绍了 4 种激活函数，各有适用场景：

（1）阶跃函数：单层感知机的 “旧选择”

阶跃函数是最早的激活函数，逻辑如下：
h(x)={01x≤0x>0

特点：仅输出 0 或 1，完全线性分段，但不连续、不可导—— 无法用于 MLP 的反向传播，仅适用于单层感知机。

（2）Sigmoid 函数：早期 MLP 的 “常用选择”

Sigmoid 函数将输入映射到（0,1）区间，公式如下：
h(x)=1+e−x1

特点：

连续可导，输出在 0-1 之间（可看作 “概率”）；
缺点：当x过大或过小时，函数趋近于 0 或 1，导数值趋近于 0（梯度消失），导致深层模型训练困难。

（3）tanh 函数：比 Sigmoid 更稳定的 “改进版”

tanh（双曲正切）函数将输入映射到（-1,1）区间，公式如下：
h(x)=ex+e−xex−e−x

特点：

连续可导，输出以 0 为中心（比 Sigmoid 更对称，训练时梯度更稳定）；
缺点：仍存在 “x 极端时梯度消失” 的问题，适用于浅层 MLP。

（4）ReLU 函数：现代深度学习的 “主流选择”

ReLU（线性修正单元）是目前最常用的激活函数，公式如下：
h(x)=max(0,x)

特点：

计算极简单（仅判断 x 是否大于 0），训练效率高；
当x>0时，导数为 1（无梯度消失），支持深层模型训练；
缺点：当x<0时，导数为 0（神经元 “死亡”），但可通过调整学习率缓解；
适用场景：CNN、MLP 等几乎所有深层模型的隐藏层。

四、MLP 的训练逻辑：从 “误差” 到 “参数更新”

MLP 的训练过程本质是 “通过误差调整权重和偏差”，核心分为前向传播（计算输出）和反向传播（计算梯度并更新参数）两步，最终让模型的输出 “接近期望值”。

4.1 训练的本质：动态调整可变权值

神经网络的 “学习” 不是记忆数据，而是通过外界输入的样本（如 “输入 x→期望输出 y”），不断调整各层的权重（w）和偏差（b），使模型的实际输出（y^）与期望输出（y）的 “误差” 越来越小。

4.2 前向传播：从输入到输出的 “信号流动”

前向传播是 “计算输出” 的过程，按 “输入层→隐藏层→输出层” 的顺序传递信号：

输入层接收原始数据x1,x2,...,xn；
隐藏层：对每个神经元，计算z=b+∑wixi，再通过激活函数得到输出h=激活函数(z)；
输出层：将隐藏层的输出作为输入，重复步骤 2，得到模型的最终输出y^（多分类时用 Softmax 激活，二分类用 Sigmoid，回归用线性激活）。

4.3 反向传播：从误差到梯度的 “反向传递”

反向传播是 “调整参数” 的核心，按 “输出层→隐藏层→输入层” 的顺序计算误差，并通过 “梯度下降” 更新权重和偏差：

计算误差：用损失函数（如均方误差 MSE、交叉熵损失）衡量实际输出y^与期望输出y的差距；
计算梯度：通过 “链式法则”，从输出层反向计算每个权重和偏差对误差的 “影响程度”（即梯度）；
更新参数：根据梯度，用梯度下降法调整权重和偏差（例如w=w−η×梯度，η是学习率，控制每次更新的步长）。

反向传播的关键是 “梯度”—— 梯度的方向是 “误差增大的方向”，因此参数更新时需 “沿着梯度的反方向”，才能让误差减小。

五、误差与验证：如何判断模型 “学得好”？

训练模型时，我们不仅要关注 “模型在训练数据上的表现”，更要关注 “模型在新数据上的表现”—— 这就需要区分 “训练误差” 和 “泛化误差”，并通过 “验证集” 和 “测试集” 评估模型。

5.1 训练误差 vs 泛化误差：避免 “考试考得好，实战用不了”

训练误差：模型在 “训练数据集”（用于训练的样本）上的误差，类似学生 “做历年真题的得分”；
泛化误差：模型在 “新数据集”（未见过的样本）上的误差，类似学生 “高考的实际得分”。

关键认知：训练误差小不代表泛化误差小！例如学生 A 通过 “死记硬背真题” 在训练误差（真题得分）很低，但遇到新题（泛化误差）时得分可能很低；而学生 B 通过 “理解知识点”，训练误差和泛化误差都能保持较低 —— 这正是我们希望模型达到的效果。

5.2 验证集与测试集：评估模型的 “工具”

为了准确计算训练误差和泛化误差，需将数据集分为三类：

训练集：占比最大（如 70%），用于模型训练（调整参数）；
验证集：占比中等（如 20%），用于 “评估模型好坏” 和调超参数（如隐藏层数量）——不可与训练集混合（否则会导致 “数据泄露”，泛化误差不准）；
测试集：占比最小（如 10%），用于 “最终评估模型性能”—— 理论上只能用一次（类似高考，不能反复 “刷题”），避免因多次调整模型导致泛化误差被高估。

5.3 K - 折交叉验证：数据不足时的 “补救方案”

当数据量较小时（如样本数 <1000），单独划分验证集会导致训练集更小，此时可采用 “K - 折交叉验证”：

将训练集划分为 K 个 “等大的部分”（常见 K=5 或 10）；
循环 K 次：每次用 “第 i 部分” 作为验证集，其余 K-1 部分作为训练集，计算验证误差；
最终取 K 次验证误差的 “平均值” 作为模型的验证误差。

例如 K=5 时，训练集被分为 5 份，每次用 4 份训练、1 份验证，共循环 5 次，确保每个样本都作为过验证集，评估结果更稳定。

六、过拟合与欠拟合：模型训练的 “两大陷阱”

在 MLP 训练中，最常见的问题是 “过拟合” 和 “欠拟合”—— 两者都源于 “模型复杂度” 与 “数据复杂度” 的不匹配。

6.1 过拟合与欠拟合的定义

欠拟合：模型 “没学会” 训练数据的一般规律，表现为训练误差和泛化误差都很大。例如用 “线性模型” 拟合非线性数据，或隐藏层数量过少的 MLP 处理复杂任务（如用 1 个隐藏层识别复杂图像）；
过拟合：模型 “学太好” 训练数据的 “噪声”（而非规律），表现为训练误差很小，但泛化误差很大。例如用 10 层隐藏层的 MLP 训练 100 个样本，模型会 “死记硬背” 每个样本，但遇到新样本时无法适应。

课件中的 “树叶分类” 例子很形象：