第3周机器学习课堂记录

杰宁家的小憨憨 · 2025-09-09 16:16:56 发布

1.学习问题的分类

2.泛化versus过度拟合

背景引入：多项式曲线拟合

目标函数： $y(X,W) = W^TX$

损失函数：最小平方和 $\tilde{E}(\mathbf{w}) = \frac{1}{2} \sum_{i=1}^{N} \left\{ y(x_i, \mathbf{w}) - t_i \right\}^2$

泛化：正确预测不同于用于训练的数据的新观察的能力
过拟合：目标函数的模型y过度拟合训练数据，如果存在一个可选的模型y‘满足 $error_D(y) < error_D(y')$ ，
但是
$error(y) > error(y')$
其中， $error_D(y)$ 是训练数据上的误差，而 $error$ 是整个数据分布上的误差
欠拟合

3.用于模型比较的测试集

测试集：一个独立的数据集，可以获得泛化性能对M的依赖的一些定量的领悟。
root-mean-square（RMS） error 均方根误差
- $E_{RMS} = \sqrt{2E(w)/N}$
- 除以N使得我们能够在平等的基础上比较不同大小的数据集
- 开放确保 $E_{RMS}$ 与目标变量t具有同样的尺度和量纲

4.Regularization正则化

一种常用于控制过拟合现象的技术
给误差函数添加一个惩罚项，以阻止系数达到大的值
- $\tilde{E}(\mathbf{w}) = \frac{1}{2} \sum_{i=1}^{N} \left\{ y(x_i, \mathbf{w}) - t_i \right\}^2 + \frac{\lambda}{2} \left\| \mathbf{w} \right\|^2$
- 其中 $\left\| \mathbf{w} \right\|^2 \equiv \mathbf{w}^\mathrm{T} \mathbf{w} = w_0^2 + w_1^2 + \dots + w_M^2$
- 并且系数λ控制正则化项与平方和误差项相比的相对重要性。

5.验证集

达成模型复杂度的适合的值的一种简单方法，通过把可用的数据划分成：

训练集：确定模型参数w

测试集：评价模型泛化性质

验证集：调节模型超参M

$y(X,W) = w_0 + w_1x + ... + w_Mx^M$

6.Gaussian Distribution 高斯分布

单个实值变量x的情形，高斯分布定义为

$\mathcal{N}(x|\mu,\sigma^2) = \frac{1}{(2\pi\sigma^2)^{1/2}} \exp\left\{ -\frac{1}{2\sigma^2}(x - \mu)^2 \right\}$

式中 $\mu$ 是均值（mean）， $\sigma^2$ 是方差(variance)，方差的平方根 $\sigma$ 叫做标准误（standard deviation），方差的倒数 $\beta(\beta=1/\sigma^2)$ 叫做精度（precision）。

7.Gaussian Parameter Estimation

数据集 $\mathcal{X} = (x_1, \dots, x_N)^{\mathrm{T}}$ ，表示标量x的N个观察。
数据独立地从同一个高斯分布采样得到，均值和方差未知。
利用数据集确定高斯分布的参数。
由于数据集独立同分布，因此，给定μ和方差σ2，数据集的概率(似然)
- $p(\mathcal{X}|\mu, \sigma^2) = \prod_{i=1}^{N} \mathcal{N}(x_i|\mu, \sigma^2)$

8.Maximum(Log) Likelihood 最大似然估计

对数似然函数
- $\ln p(\mathcal{X}|\mu, \sigma^2) = -\frac{1}{2\sigma^2} \sum_{i=1}^{N} (x_i - \mu)^2 - \frac{N}{2} \ln \sigma^2 - \frac{N}{2} \ln 2\pi$
最大似然解
- 样本均值 $\mu_{\text{ML}} = \frac{1}{N} \sum_{i=1}^{N} x_i$
- 样本方差 $\sigma_{\text{ML}}^2 = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu_{\text{ML}})^2$