深度学习01

机器学习vs深度学习

机器学习：通俗解释为“让机器从数据中学习规律”，完成预测或分类任务。

深度学习：是机器学习的一个子领域。用一个关键比喻：“深度”意味着“多层次的学习”。

核心区别：

• 特征提取： 传统机器学习需要人类专家来设计和提取数据的特征（比如，判断一只猫需要提取胡须、耳朵形状等特征）。而深度学习可以自动从原始数据（比如像素）中学习并提取越来越复杂的特征。

神经网络

基础知识

让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。后文中，我们统一使用这种颜色来表达神经网络的结构。

神经元

一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。

结构：神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。

逻辑回归：

什么是逻辑回归：

二分类表示分类任务中有两个类别。比如有一个分类任务是预测一张图片中是否有猫，则结果只有有(1)或没有(0)两种类别。
逻辑回归就是为解决二分类问题，建立模型，输入数据，最终输出一个0到1的数，用来预测 y y y的真实值。比如可以规定当模型输出值 y ^ \hat{y} y^大于等于0.5时，我们便预测输出类别为1(对应上述例子，即图片中有猫)。

首先逻辑回归并不是一个回归算法，而是一个分类算法，因为逻辑回归是基于多元线性回归算法的，所以逻辑回归是一个线性的分类算法。比如有一堆点，这些点有很多种颜色，我们要用线将这线点划分开，尽量一种颜色一个区域

Sigmoid函数：

他的函数图像：

梯度下降算法的函数和公式

梯度下降算法的基本思想 ：

我们知道梯度是函数变化程度最快的向量，那么沿着损失函数梯度的反方向更新模型参数，就可以逼近函数的最小值点。

算法过程与步骤

梯度算法是一个循环迭代的过程，他的步骤如下

1.初始化：选择一个初始点x0 和一个初始步长 α0

2.迭代：① 计算梯度$\nabla f(xk)$。

​ ② 选择步长$\alpha k$

​ ③ 更新参数：$xk+1=xk-\alpha k\nabla f(xk)$

3.终止条件：当满足某个终止条件时（如梯度的模长小于某个阈值，或者达到最大迭代次数），停止迭代。