一、线性回归（Linear Regression）

• 基本概念​：用于估计连续值，如房价预测。

• ​流程​：通过参观了解房屋情况，估计价格并出价。

• ​本质​：建立一个线性模型，拟合输入特征与输出之间的关系。

二、神经网络与优化基础

1. 神经网络

• 由多个层组成，每一层接收上一层的输出并传递到下一层。

• 核心任务：通过学习找到最优参数（权重和偏置）。

2. 损失函数（Loss Function）

• 用于衡量模型预测值与真实值之间的差异。

• 常见类型：

  • L2损失（平方损失）

  • L1损失

  • Huber损失（结合L1和L2优点）

  • 交叉熵损失（常用于分类问题）

3. 优化算法：梯度法（Gradient Descent）

• ​目标​：找到使损失函数最小的参数。

• ​梯度​：由所有变量的偏导数组成的向量，指示函数值下降最快的方向。

• ​梯度下降流程​：

  1. 计算当前参数的梯度；

  2. 沿梯度反方向更新参数；

  3. 重复上述过程，逐步逼近最小值。

4. 随机梯度下降（SGD）

• 每次使用一个样本更新参数，计算快但波动大。

• ​小批量随机梯度下降（Mini-batch SGD）​​：

  • 是深度学习中默认的优化算法；

  • 每次使用一个小批量的样本计算梯度；

  • ​超参数​：

    • ​批量大小（Batch Size）​​：不宜太小（计算资源利用不充分），不宜太大（浪费资源）；

    • ​学习率（Learning Rate）​​：不宜太大（震荡不收敛），不宜太小（收敛过慢）。

三、Softmax回归与分类问题

1. 回归 vs 分类

• ​回归​：输出连续值（如房价）；

• ​分类​：输出离散类别（如图像分类、文本分类）；

• ​常见数据集​：

  • ImageNet（1000类）

  • MNIST（手写数字，10类）

  • Kaggle任务示例：

    • 蛋白质图像分类（28类）

    • 恶语评论分类（7类）

2. 从回归到多类分类

• 输出层神经元数量等于类别数；

• 每个输出表示对应类别的置信度；

• Softmax回归层是一个全连接层。

3. Softmax运算

• 将输出转换为概率分布：

  • 使用 exp 函数确保非负；

  • 除以总和确保概率和为1；

• 示例：输入 [1, -1, 2] → Softmax → [0.26, 0.04, 0.70]

4. 交叉熵损失（Cross-Entropy Loss）

• 常用于衡量两个概率分布之间的差异；

• 是分类任务中最常用的损失函数。

---

四、总结

• 梯度下降是优化神经网络参数的核心方法；

• 小批量随机梯度下降是实际应用中最常用的算法；

• Softmax回归适用于多类分类问题，配合交叉熵损失效果更佳；

• 超参数（学习率、批量大小）的选择对模型训练至关重要。