线性回归

可以写成向量相乘的形式

目标函数

线性回归做分类

• 回归：实数域内连续的输出
• 分类：
  输出向量，第i个输出值表示属于第i类的置信值
  为每个类学习一个线性模型$o_i=<x,w_i>+b_i$
  标号$y=[y_1,y_2,...,y_m]$是一个长为m的向量，若i=y，则$y_i=1$，否则为0
  最小化均方误差$\frac{1}{m}||o-y|{|}_2^2$
  预测的标签是使$o_i$最大的那个i
  即arg max⁡i{oi}i=1m\argmax_i\{o_i\}_{i=1}^margmaxi​{oi​}i=1m​

softmax 回归

• 将分数转为可能性（非负，和为1）
  $\hat{y}=softmax(o)$其中$\widehat{y_i}=\frac{exp(o_i)}{{\sum }_{k=1}^{m}exp(o_k)}$
  仍然是一个线性模型，以argmaxi{yiˆ}=argmaxi{oi}argmax_i \{\^{y_i}\}=argmax_i\{o_i\}argmaxi​{yi​ˆ​}=argmaxi​{oi​}做决策
• 两个向量（$\hat{y}$和$y$）之间的交叉熵损失（cross-entropy loss）
  $H（y,\hat{y}）=\sum _{\begin{array}{c}i\end{array}}-y_{i}log(\widehat{y_i})=-log\widehat{y_y}$

小批量（Mini-batch）随机梯度下降（SGD）

• 用小批量SGD训练
  $w$是模型参数，$b$是批量大小，${\eta }_t$是在时间t时的学习率
  在时刻1随机初始化$w_1$
  之后重复迭代直到收敛：
  1、随机采样It⊂{1,...,n}I_t\subset\{1,...,n\}It​⊂{1,...,n},其中$|I_t|=b$
  2、更新$w_{t+1}=w_t-{\eta }_t{▽}_{w_t}l(X_{I_t},y_{I_t},w_t)$

• 对超参数b和${\eta }_t$比较敏感，选取要慎重

示例代码链接