一、

1.逻辑回归算法

解决二分类问题，输出结果只能是很小范围内的数，如0和1.

2.逻辑函数（sigmoid函数）g(z)：

3.决策边界

参数不同，决策边界也不同。

4.损失函数L

预测f(x)离真实值y的距离，越远损失越高，例如真实值为1，表示就是肿瘤，但是根据如下图所示，假设f(x)的预测值为0.1，也就是10%的概率为肿瘤，这个距离非常远，可以看到此时的损失函数L的值很大。

  

5.成本函数（代价函数）J

 

6.梯度下降

虽然线性回归和逻辑回归的梯度下降算法公式看起来一样，但是他们的f(x)是完全不同的。

监控梯度下降以确保收敛，使用向量化来使梯度下降运行更快，这与线性回归相同。

7.线性回归的过拟合和欠拟合

欠拟合（高偏差）：如第一个模型

过拟合（高方差）：如第三个模型

8.逻辑回归的过拟合和欠拟合

欠拟合（高偏差）：如第一个模型

过拟合（高方差）：如第三个模型

9.解决过拟合问题

（1）收集更多数据

（2）减少特征的使用，即使用特征集的子集

（3）正则化减小参数大小：保留所有特征，但只是防止特征产生过大影响，这有时会导致过拟合，只是减小特征参数

10.带正则化的成本函数

其中λ为0会过拟合，λ太大会欠拟合，选择合适的λ值，需要实现最小化均方误差和保持参数较小的这两个目标。

11.正则化

（1）正则化线性回归：

        因此正则化线性回归的梯度下降算法：

（2）正则化逻辑回归：