深度网络微调

• 深度学习（DL）是一门用于从数据中提取信息的编程语言
  1、一些值会在之后被数据填充
  2、可微
• 很多设计模式，从层到网络结构

Batch Normalization（批量归一化，BN）

• 标准化数据使线性方法的损失函数更平滑
  1、平滑：$||▽f(x)-▽f(y)|{|}^2\le \beta ||x-y|{|}^2$，梯度的大小小于x与y之间距离的$\beta$倍
  2、小的$\beta$值允许一个更大的学习率
  3、不会帮助深度神经网络
• 批量归一化（BN）把中间内部层的输入也进行标准化

步骤

• 变形reshape
  把输入X变成一个2D的矩阵（若不是2D的）
  $X\in {\mathbb{R}}^{n\ast c\ast w\ast h}\to X^{\prime }\in {\mathbb{R}}^{nwh\ast c}$(batch n,channel c,width w,height h)
• 标准化Normalization
  把每一列标准化
  ${\hat{x}}_j^{{}^{\prime }}\leftarrow (x_j^{{}^{\prime }}-mean(x_j^{{}^{\prime }}))/std(x_j^{{}^{\prime }})$
• recovery
  有$Y^{\prime }$，其中$y_j^{{}^{\prime }}={\gamma }_j{\hat{x}}_j+{\beta }_j$作为第j列，${\gamma }_j和{\beta }_j$是可学习的参数
• 输出$Y$，通过reshape$Y^{\prime }$将其还原回之前的格式

代码

def batch_norm(X,gamma,beta,moving_mean,moving_var,eps,momentum):
	if not torch.is_grad_enabled():
		X_hat = (X-moving_mean)/torch.sqrt(moving_var+eps)
	else:
		assert len(X.shape) in (2,4)
		if len(X.shape)==2:
			mean = X.mean(dim=0)
			var = ((X-mean)**2).mean(dim=0)
		else:
			mean = X.mean(dim=(0,2,3),keepdim=True)
			var = ((X-mean)**2).mean(dim=(0,2,3),keepdim=True)
		X_hat = (X-mean)/torch.sqrt(var+eps)
		moving_mean = momentum*moving_mean + (1.0-momentum)*mean
		moving_var = momentum*moving_var + (1.0-momentum)*var
	Y = gamma*X_hat + beta
	return Y,moving_mean,moving_var

Layer Normalization（层归一化）

• 若应用于RNN，BN在每个时间步需要维持离散的移动数据（在每个时间步学习的那些参数不要共享）
  在推理时处理很长的数据时是有问题的
• 层归一化reshape输入$X\in {\mathbb{R}}^{n\ast p}\to X^{\prime }\in {\mathbb{R}}^{p\ast n}$，$X\in {\mathbb{R}}^{n\ast c\ast w\ast h}\to X^{\prime }\in {\mathbb{R}}^{cwh\ast n}$，其他的与BN相同
  1、在每个样例中归一化，直到目前的时间步
  2、在训练和推理时是一致的
  3、多在Transformers中应用