线性回归部分
核心模型：y = wx + b
目标：预测连续值（如房价）
损失函数：平方误差（L2损失）
优化方法：梯度下降

神经网络基础
单层神经网络结构
全连接层：所有输入与输出相连
参数学习：权重和偏置优化

优化算法
梯度下降：沿负梯度方向更新参数
随机梯度下降(SGD)：单样本更新
小批量SGD：深度学习默认算法
关键超参数：
批量大小（batch_size）
学习率（learning_rate）

Softmax回归
多分类模型：输出离散类别
输出层神经元数=类别数
Softmax运算：将输出转为概率分布
特性：概率非负且和为1

损失函数
分类任务：交叉熵损失
衡量预测概率与真实分布差异
优于平方损失用于分类

应用场景
线性回归：房价预测、销量预估
Softmax回归：
手写数字识别（MNIST）
图像分类（ImageNet）
文本分类（恶意评论检测）

关键公式
Softmax：σ(z)ᵢ = eᶻⁱ / Σeᶻʲ
交叉熵：L = -Σyᵢlog(ŷᵢ)

实践要点
输出层设计：分类问题用Softmax
学习率选择：需平衡收敛速度与稳定性
批量大小：充分利用计算资源
梯度检查：确保反向传播正确性

从回归到分类
回归输出单连续值
分类输出类别置信度
Softmax将置信度转为概率