基础研究：算法、架构、基础理论等

应用研究：LLM应用开发，是指如何将AI应用到实际的业务场景中，让AI技术落地。

现在比较多的是聊天机器人。

LLM 大语言模型，是一种用大量数据训练的深度学习模型，给模型一些输入，它可以预测并返回相应的输出。

词表，就是这个模型的所有Token 映射，每个 Token有其对应的id，一般从0开始，比如 "ct" 的 token是611， "安徽省" 的 token 是 28560

输入 -> 词表转换 -> 计算下一个词出现的概率 -> 找概率最大的Token -> 大模型输出内容

但是 如果输入的句子，之前的文本里没有，可能就乱码了，所以需要改进。

改进 -> 引入嵌入空间 ，将 token 映射成 token 向量/嵌入，去词表向量/嵌入找某种计算概率最大的（比如说相似度）

Agent

智能体指代具有自主性和智能的程序或系统，能够通过感知、规划、决策并执行相关任务。

智能体根据用户输入的指令进行推理决策，决定要执行的动作，比如说采集网页等和外部环境进行交互，外部环境将反馈返回给智能体，智能体去感测感知是否检索之前的记忆，或者继续推理决策去完成下游任务。

LLM 在推理决策这里起作用。

比如 任务交接，交接机器人。

大模型的局限性

1.大模型训练时间很长，无法实时将信息投喂给模型进行训练。

2.大模型的训练资料都来源于互联网公开资料集，公司的内部资料并没有在训练好的大模型的语料库中。

3.默认情况下大模型没有接口与外部环境进行交互。

4.大模型通过大量参数预测下一个词出现的概率，对于数学问题，大模型采用预测并不一定能计算得准确

5.大模型的幻觉

6.长上下文处理能力弱

7.交互

大模型如何影响未来架构？

一些专有名词

AIGC- AI 生成内容

AGI -- 人工通用智能

Agent 智能代理，一个能够自主感知环境并采取行动的计算实体，其目标是最大化某种预定义的效用或实现特定的目标。

GPT

Token 文本基础单元

LoRA 插件式微调

LoRA通过将模型的权重矩阵分解成低秩的相似矩阵，降低了参数空间的复杂性，从而减少微调的计算成本和模型存储要求。

矢量/向量数据库

矢量数据库可以存储和管理大量的矢量数据

数据蒸馏

大模型时代的人机交互范式