前言

学习如何利用深度神经网络来解决问题

通过rethinkfun博主的视频电子书学习记录，对于一些基础术语和系统化理解有所感悟。

视频链接：https://www.bilibili.com/video/BV1A9tszhEpp/?p=121&spm_id_from=333.40164.top_right_bar_window_history.content.click

电子书链接：第一章：初识深度学习 · GitBook

数学基础部分

理解什么是将问题放在数学模型中去解决，构建几何向量代数去计算结果。

线性回归模型

将问题用函数来解决，输出一个问题，通过黑盒运算后输出我们想要的结果，机器学习中无非就是分类与回归的问题，回归到函数模型上去，一切问题都有答案。

逻辑回归模型

线性回归后得到的函数模型不足以解决完成复杂的问题，通过引入非线性函数（激活函数）来达到想要的模型，常见的二分类问题，进行正向反向梯度使其模型准确率提高。并不断引入训练、验证、测试的，修改梯度，因为参数未更新导致的梯度消失和爆炸的概念。

神经网络

深度神经网络

神经网络模拟黑盒内部的运算逻辑。

利用多层网络结构去解决复杂问题。

卷积神经网络CNN

什么是卷积？

将输入的特征图进n*n的提取，划分成多个小图进行运算，为了实现卷积尺寸不变，那么可以采用0填充的方法，使得每次提取的中心才是有效特征内容。

而池化就仅是改变特征图尺寸大小的作用。每次卷积后进入池化，最后一层是全连接层，将所有内容进行铺平展开求平均运算。

经典运用的项目中：可以做了几个小测试demo，github中给出了链接，主要有YOLOV8物体检测，人脸识别，大模型微调，EfficientV2导航识别，多任务分割识别。

循环神经网络RNN

为了处理数据出入之间的序列问题，有单向循环，双向循环，正向、反向单循环。但依赖距离问题，提出LSTM长短期记忆，选择性的记忆，并给出一个遗忘层，将不需要的丢弃。后又提出LSTM简化版GRU。

循环神经网络对于自然语言处理起着重要作用。后续引入注意力机制，又提出transformer自注意力机制，通过机器自主学习优化。

项目实现

主要使用pytorch库完成项目。

PyTorch 是一个开源的机器学习库，主要用于进行计算机视觉（CV）、自然语言处理（NLP）、语音识别等领域的研究和开发。

PyTorch由 Facebook 的人工智能研究团队开发，并在机器学习和深度学习社区中广泛使用。

PyTorch 以其灵活性和易用性而闻名，特别适合于深度学习研究和开发。