线性方法->多层感知机（MLP）

一个全连接（线性、dense）层有参数$W\in {\mathbb{R}}^{m\ast n}$,$b\in {\mathbb{R}}^m$，其用于计算输出$y=Wx+b\in {\mathbb{R}}^m$

1. 线性回归：全连接层有1个输出
2. softmax 回归：全连接层有m个输出+softmax
3. 

MLP

• 激活函数是一个按元素的非线性函数
  $sigmoid(x)=\frac{1}{1+exp(-x)}$
  $ReLU(x)=max(x,0)$
  有一个隐藏层的多层感知机（黄色dense层）
  

有一个隐藏层的MLP
超参数：num_hiddens

def relu(X):
	return torch.max(X,0)
W1 = nn.Parameter(torch.randn(num_inputs,num_hiddens)*0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens))
W2 = nn.Parameter(torch.randn(num_hiddens,num_outputs)*0.01)
b2 = nn.Parameter(torch.zeros(num_outputs))

H = relu(X @ W1 + b1)
Y = H @ W2 + b2