3000字读懂AI核心技术：从大模型微调、RAG进化到智能体设计，一文掌握行业前沿

陈敬雷-充电了么-CEO兼CTO

935人浏览 · 2025-09-27 19:17:40

陈敬雷-充电了么-CEO兼CTO · 2025-09-27 19:17:40 发布

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

文章目录

GPT多模态大模型与AI Agent智能体系列二百
总结

GPT多模态大模型与AI Agent智能体系列二百

3000字读懂AI核心技术：从大模型微调、RAG进化到智能体设计，一文掌握行业前沿

在AI技术飞速迭代的当下，Transformer架构如何支撑大模型规模化发展？LoRA等微调技术怎样实现模型轻量化适配？RAG从传统模式到Agentic RAG的进化带来了哪些突破？智能体又有哪些经典设计模式？本文将围绕AI核心技术展开深度解析，带您系统掌握大模型、RAG、智能体等关键领域的技术原理与应用逻辑。

一、大模型的“骨架”与“扩容术”：Transformer与MoE的协同

大模型之所以能处理复杂任务，核心在于其底层架构与高效扩容方案的结合，Transformer与混合专家（MoE）技术的搭配，成为推动大模型向万亿参数级突破的关键。

1. Transformer：大模型的基础架构

Transformer的核心在于自注意力机制（Self-Attention） ，它能让模型在处理序列数据时，同时关注到文本中不同位置的信息，有效解决了传统RNN类模型难以处理长距离依赖的问题。其关键组件包括：

多头注意力（Multi-Head Attention） ：将注意力机制拆分到多个“子空间”，分别捕捉文本的不同语义关联，最后整合结果，让模型对语义的理解更全面。比如在处理“AI技术推动医疗行业发展”这句话时，部分头关注“AI技术”与“医疗行业”的关联，部分头关注“推动”与“发展”的动作关系。
前馈网络（FFN） ：对多头注意力输出的特征进行非线性变换，增强模型的表达能力，通常由两层线性层和中间的激活函数（如ReLU）组成。
层归一化（LayerNorm）与残差连接 ：层归一化稳定训练过程中的参数分布，避免梯度消失或爆炸；残差连接则让模型能直接学习输入与输出的差异，降低深层模型的训练难度。

凭借这些组件，Transformer实现了高效并行训练——不同于RNN的串行处理，它可同时计算文本中所有位置的注意力，大幅提升了训练速度，成为GPT、BERT等主流大模型的基础架构。

2. MoE：大模型的“高效扩容神器”

随着模型参数规模扩大，计算量和显存占用呈指数级增长，MoE（混合专家，Mixture of Experts）技术通过“稀疏激活”的思路，实现了模型规模与计算效率的平衡。其核心思想是：
将模型的关键模块（通常是FFN层）拆分为多个独立的“专家子网络”，每个专家专注处理某一类特定任务或数据模式；同时设置一个“门控机制（Gating Network）”，在处理每段输入时，仅激活少数（如1-2个）与当前输入最匹配的专家，其余专家不参与计算。

典型应用如Google的Switch Transformer、Meta的FairSeq-MoE，它们在保持计算量基本不变的前提下，将模型参数规模扩展到千亿甚至万亿级别。例如，一个包含100个专家的MoE模型，每次仅激活2个专家，相当于用2个专家的计算量，实现了100个专家的模型容量，极大提升了模型的性能上限。

3. 二者结合：推动大模型持续进化

MoE并非独立于Transformer的架构，而是作为Transformer的“升级组件”存在——通常用MoE层替代Transformer中的FFN层。这种结合方式让Transformer在保留高效并行架构的同时，通过MoE的稀疏计算实现“轻量化扩容”。如今GPT-4、Mixtral等顶尖大模型均采用这一思路，既具备处理复杂任务的大容量，又能满足实际应用中的效率需求。

二、大模型的“定制化工具”：5种主流微调技术对比

预训练大模型虽具备通用能力，但在特定任务（如医疗问答、法律文档分析）中性能不足，微调技术则通过少量参数更新，让模型适配具体场景，同时降低训练成本。以下是5种核心微调技术的特点与应用场景：

1. LoRA（Low-Rank Adaptation）：通用性最强的微调方案

LoRA的核心思想是冻结预训练模型的大部分权重，仅在Transformer的注意力层中插入一对低秩矩阵（A和B），通过训练这两个低秩矩阵实现模型微调。低秩矩阵的“秩”远小于模型权重矩阵的维度（如模型权重矩阵维度为1024×1024，低秩矩阵秩设为8），因此参数量仅为全量微调的千分之一甚至万分之一。

其优势在于显存占用低、训练速度快，且适配多任务场景——无论是文本分类、问答还是生成任务，LoRA都能通过调整低秩矩阵，让模型快速适配，是目前工业界应用最广泛的微调技术。

2. LoRA-FA（LoRA with Frozen-A）：资源极度受限的“精简版”

LoRA-FA在LoRA基础上进一步简化：固定低秩矩阵A（随机初始化后不再更新），仅训练矩阵B。这一改进让训练参数再减少一半，进一步降低计算开销，适合边缘设备（如手机、嵌入式设备）或算力极有限的场景。不过，由于仅更新单个矩阵，其性能略低于标准LoRA，需在“资源”与“性能”间做权衡。

3. VeRA（Vector-based Random Adaptation）：超轻量化的极致选择

VeRA的设计更激进：所有Transformer层共享同一对随机初始化的低秩矩阵，仅为每个层学习一个“缩放向量”——通过调整向量的数值，控制该层低秩矩阵对模型输出的影响幅度。这种方式让微调参数数量降至“千级”，比LoRA减少近千倍，可直接部署在物联网设备等资源极其有限的场景。但其缺点也明显：参数过少导致模型适配复杂任务的能力较弱，更适合简单的文本匹配、关键词提取等任务。

4. Delta-LoRA：平衡“性能”与“权重保护”

传统LoRA仅更新低秩矩阵，而Delta-LoRA将预训练权重的增量（即“Delta”）也纳入低秩约束——微调时不仅训练低秩矩阵，还让权重增量满足低秩结构。这种设计既保留了LoRA参数效率高的特点，又通过约束权重增量，减少对预训练模型通用能力的破坏，在需要兼顾“任务适配性”与“模型通用性”的场景（如通用对话机器人微调）中表现更优。

5. LoRA+：优化训练稳定性的进阶方案

LoRA训练中，低秩矩阵A和B的梯度可能存在“失衡”问题（如A的梯度过大，B的梯度过小），导致训练不稳定。LoRA+通过为矩阵A和B设置不对称学习率（如A的学习率设为1e-4，B的学习率设为1e-3），平衡两者的梯度更新速度，提升模型收敛速度与微调稳定性。在高精度要求的场景（如医疗诊断文本分析）中，LoRA+能让模型在更少的训练轮次内达到更高性能。

从应用场景来看：LoRA适用于大多数通用任务；VeRA主打超轻量化部署；Delta-LoRA和LoRA+则针对性能优化需求，分别侧重“权重保护”和“训练稳定”。

三、RAG的“进化革命”：从传统管道到Agentic自主决策

RAG（检索增强生成）是解决大模型“知识过时”“事实错误”的核心技术，但随着任务复杂度提升，传统RAG的局限性逐渐凸显，Agentic RAG（智能体驱动的RAG）应运而生，实现了从“静态流程”到“动态系统”的跨越。

1. 传统RAG：简单但受限的“检索-生成”管道

传统RAG的核心流程分为两步，呈“线性管道”模式：

检索（Retrieval） ：从固定的知识库中（如文档数据库、向量数据库），通过BM25（基于关键词匹配）或向量检索（基于语义相似度），提取与用户查询相关的文档片段。
生成（Generation） ：将检索到的片段拼接为“上下文”，与用户查询一起输入大模型，让模型基于上下文生成回答。

这种模式的特点是静态处理——检索和生成分离，没有反馈循环，一旦检索完成，生成过程便不再调整。其局限性十分明显：

检索结果质量直接决定生成效果：若检索到无关或错误片段，模型会基于错误信息生成“幻觉答案”；
无法动态优化策略：面对复杂查询（如“分析2023年与2024年AI行业融资差异”），传统RAG只能单次检索，无法根据初步结果调整查询关键词或补充检索维度；
多跳推理能力弱：若问题需要“多步推导”（如“某公司CEO的教育背景如何影响其产品战略”），传统RAG需人工设计分步查询，无法自主分解子问题。

2. Agentic RAG：赋予RAG自主决策能力的“智能系统”

Agentic RAG的核心是引入智能体（Agent） ，让RAG流程具备“自主思考、动态调整、自我验证”的能力，其关键改进体现在三个方面：

动态检索：从“单次检索”到“多轮迭代”
智能体可根据生成的中间结果调整检索策略：比如用户查询“AI在肺癌诊断中的应用进展”，若首次检索到2022年的文献，智能体会自动改写查询为“2023-2024年AI肺癌诊断应用进展”，进行二次检索；面对多跳问题，智能体还能自主分解子问题（如“先检索肺癌诊断的主流技术→再检索AI在该技术中的应用→最后检索最新进展”），并迭代检索。
任务感知：从“通用流程”到“场景适配”
智能体可根据任务类型选择不同策略：若任务是“生成某产品说明书摘要”，则优先检索说明书的核心章节；若任务是“计算某公司2024年营收增长率”，则调用计算器工具，结合检索到的营收数据进行计算；若任务涉及实时信息（如“当前北京PM2.5指数”），则调用外部API获取最新数据。
自我验证：从“生成即结束”到“事实核查”
智能体生成回答后，会进行事实性检查：比如生成“某药物可治疗糖尿病”后，会二次检索权威医学数据库，验证该药物的适应症；若发现回答中存在逻辑矛盾（如“某公司2024年营收增长10%，但净利润下降20%”未解释原因），则补充检索相关财务报告，完善回答逻辑。

3. 两者对比：从“工具”到“助手”的跨越

传统RAG更像一个“被动的检索工具”，只能按固定流程执行任务；而Agentic RAG则像一个“主动的智能助手”，能根据任务需求自主规划、调整策略、验证结果，更贴近人类解决问题的模式。例如，面对“为某老年人推荐适合的AI健康监测设备”这一问题：

传统RAG会检索“AI健康监测设备”相关文档，直接生成推荐列表；
Agentic RAG则会先询问老年人的健康需求（如是否需要监测血压、心率）、使用习惯（如是否熟悉智能设备操作），再基于这些信息调整检索关键词（如“适合老年人的简易AI血压监测设备”），生成推荐后，还会验证设备的用户评价、安全性认证等信息，确保推荐可靠。

四、智能体的“设计蓝图”：5种经典模式与文本分块策略

智能体要实现复杂任务处理，需依赖合理的设计模式；而在处理文本类任务时，高效的文本分块策略则是提升性能的基础。

1. 5种经典智能体设计模式

不同任务场景需要不同的智能体行为逻辑，以下5种模式是目前应用最广泛的设计思路：

Reflection Pattern（反思模式）：自我迭代优化
核心是让智能体通过“自我评估-修正”循环提升输出质量。流程为：智能体先生成初步结果→分析结果中的错误或不足（如“回答未涵盖用户需求的‘价格范围’”“某数据引用错误”）→基于分析调整策略（如补充检索价格信息、修正数据来源）→重新生成结果，直至满足需求。例如，智能体生成一篇学术论文摘要后，会检查摘要是否涵盖论文的研究目的、方法、结果、结论，若发现遗漏“研究方法”，则补充检索论文的“研究方法”章节，重新撰写摘要。
Tool Use Pattern（工具使用模式）：扩展能力边界
核心是让智能体通过调用外部工具，弥补自身能力短板。智能体需具备“工具选择-调用-结果解析”的能力：比如用户询问“某股票当前市值”，智能体会判断“需要实时数据，自身无该信息”，进而选择“股票行情查询API”这一工具，调用API获取数据后，解析数据格式（如将JSON格式的市值数据转换为自然语言），生成回答。常见工具包括搜索引擎、计算器、API、数据库查询工具等。
ReAct Pattern（推理+行动模式）：交互式决策
核心是将“推理（Reasoning）”与“行动（Action）”结合，通过多轮交互解决问题。流程为：智能体先分析当前状态（Reason），判断“需要做什么”→执行相应行动（Act）→根据行动结果再次推理→循环直至任务完成。例如，用户需求是“规划从北京到上海的3天旅游行程”：
1. Reason：需要知道北京到上海的交通方式、上海热门景点、住宿推荐；
2. Act：调用搜索引擎检索“北京到上海高铁时刻表”“上海5A级景点”“上海景点附近酒店”；
3. Reason：根据检索结果，发现景点分布在浦东和浦西，需优化行程路线，避免跨区奔波；
4. Act：再次检索“上海浦东浦西景点一日游路线”，调整行程；
5. 最终生成详细行程。
Planning Pattern（规划模式）：先规划后执行
核心是让智能体针对长期或复杂任务，先制定“分步计划”，再按计划执行，避免即时反应导致的逻辑混乱。例如，用户需求是“完成一份2024年AI行业发展报告”：
1. 规划阶段：智能体将任务分解为“确定报告结构（摘要、技术趋势、应用场景、挑战）→收集各部分数据→撰写初稿→修改完善”；
2. 执行阶段：按计划依次完成“检索AI技术趋势文献→收集行业融资数据→撰写技术趋势章节”，若某一步骤受阻（如“融资数据不足”），则调整计划（如增加“检索权威行业白皮书”的步骤）。
Multi-agent Pattern（多智能体模式）：协作完成复杂任务
核心是让多个智能体分工协作，各自负责擅长的子任务，通过通信机制整合结果。例如，处理“某企业AI数字化转型方案设计”任务：
- 「需求分析智能体」：与企业沟通，梳理业务痛点（如生产效率低、客户服务响应慢）；
- 「技术选型智能体」：根据需求，检索适合的AI技术（如生产环节用工业AI质检，客服环节用智能对话机器人）；
- 「成本评估智能体」：计算技术部署的硬件、软件、人力成本；
- 「方案整合智能体」：汇总各智能体结果，生成完整转型方案，并协调各环节逻辑一致性。

2. 5大文本分块策略：让智能体更高效处理文本

文本分块是智能体处理长文档（如论文、手册、报告）的基础——将长文本拆分为合适的片段（Chunk），能提升检索效率和模型理解精度。不同策略适用于不同场景：

Fixed-size Chunking（固定分块）：简单高效的基础方案
按固定长度（如256 tokens、512 tokens）分割文本，可设置“重叠窗口”（如相邻分块重叠50 tokens），避免语义断裂。优点是实现简单、计算高效，适合BERT等模型的输入预处理、基础RAG系统的检索片段生成。缺点是可能切断语义（如将一个完整句子拆分为两个分块），影响模型理解。
Semantic Chunking（语义分块）：保留语义完整性
基于文本的语义边界分块，而非固定长度。实现方式有两种：一是规则式（按句号、段落符、章节标题分割），二是模型式（用Sentence-BERT等模型计算句子间的语义相似度，相似度低于阈值则分割）。例如，将“AI技术包括机器学习、深度学习；深度学习又包括CNN、RNN。”分为两个分块，而非按固定长度拆分。优点是保留语义连贯性，适合精细化问答（如“深度学习包含哪些技术”）、摘要生成；缺点是计算成本高于固定分块。
Recursive Chunking（递归分块）：分层处理长文档
采用“先粗分、后细分”的分层策略：先按大的语义单元（如章节）分块，再将每个章节块按段落分块，最后将段落块按句子分块。例如，处理一本AI教材时，先拆分为“第一章绪论”“第二章机器学习基础”等章节块，再将“第二章”拆分为“2.1 监督学习”“2.2 无监督学习”等段落块，最后将段落块拆分为句子块。优点是平衡“分块长度”与“语义完整性”，适配多级处理需求（如检索时先定位章节，再定位段落）；缺点是需设计复杂的分层规则。
Document Structure-based Chunking（基于文档结构的分块）：贴合人类阅读逻辑
利用文档的固有结构（如Markdown的#标题、##子标题，PDF的表格、HTML的

标签）分块，让分块结果与人类阅读时的信息划分逻辑一致。例如，处理一份Markdown格式的技术手册时，会将“# 产品介绍”“## 功能参数”“### 安装步骤”分别作为独立分块，同时将表格内容单独提取为“参数表格块”。优点是分块精准度高，后续检索时能快速定位到特定结构的信息（如“直接查找安装步骤分块”）；缺点是依赖文档格式的规范性，若文档无清晰结构（如纯文本小说），则无法有效分块。
LLM-based Chunking（基于大模型的分块）：灵活适配复杂需求
借助大模型的理解能力动态决定分块策略，而非依赖固定规则。实现方式有两种：一是让大模型直接生成分块边界（如输入“将这份医疗病例按‘症状描述、检查结果、诊断结论’分块”，大模型输出对应分块）；二是让大模型指导规则引擎优化（如大模型分析文本后，生成“优先按时间线分割”的规则，规则引擎按此执行）。优点是灵活适配复杂文本（如跨语言报告、专业论文）；缺点是依赖大模型能力，且成本高、延迟大，适合高价值文本处理场景。

五、RAG技术的进阶对比与KV缓存优化

除了传统RAG与Agentic RAG的差异，RAG技术体系内还有HyDE与传统RAG的细分对比；同时，KV缓存作为大模型推理的关键优化技术，也为AI核心技术的落地提供了支撑。

1. 传统RAG vs HyDE：检索逻辑的根本差异

HyDE（Hypothetical Document Embeddings，假设文档嵌入）是RAG技术的重要变体，与传统RAG的核心区别在于“检索依据”的不同。

（1）核心流程对比

传统RAG：直接基于用户查询的嵌入向量检索——先将用户查询（如“什么是机器学习？”）转换为向量，再在向量数据库中匹配与该向量最相似的文档片段向量，最终基于检索到的真实文档生成回答。
HyDE：基于“假设文档”的嵌入向量检索——第一步，不直接检索真实文档，而是让大模型根据用户查询生成一份“假设的理想回答文档”（如用户查询“什么是机器学习？”，大模型生成“机器学习是人工智能的分支，通过算法让计算机从数据中学习并改进…”）；第二步，将这份假设文档转换为向量，用该向量在数据库中检索真实文档；第三步，基于检索到的真实文档生成最终回答。

（2）性能与适用场景对比

从性能来看，传统RAG的检索效果高度依赖“查询与真实文档的语义匹配度”——若用户查询表述模糊（如“那个让电脑自己学东西的技术是什么？”），或真实文档中对概念的表述与查询差异大（如文档中用“机器自学习”而非“机器学习”），则检索精度会大幅下降。而HyDE通过生成“假设文档”，能将模糊查询转化为“清晰、规范的理想回答”，让检索向量更贴近真实文档的语义，从而提升检索精度。OpenAI的测试数据显示，面对模糊或表述不规范的查询，传统RAG的准确率仅45%，而HyDE可提升至65%；ARAGOG研究进一步表明，HyDE与LLM重排序技术结合后，检索精度显著优于朴素RAG。

从适用场景来看：

传统RAG适合查询清晰、文档表述规范的场景（如专业领域问答，用户查询“BERT模型的核心创新点是什么？”，文档中明确有“BERT的核心创新是双向Transformer和掩码语言模型”的表述）；
HyDE适合查询模糊、文档表述多样的场景（如大众日常问答，用户查询“怎么用手机清理内存？”，不同文档可能用“释放存储空间”“删除冗余文件”等不同表述，HyDE生成的假设文档能涵盖这些表述的核心语义，提升检索准确性）。

2. RAG vs Graph RAG：数据组织形式的差异

Graph RAG（图谱增强生成）是另一种RAG变体，与传统RAG的核心区别在于“知识库的数据组织形式”——传统RAG基于非结构化的文本片段，而Graph RAG基于结构化的知识图谱。

（1）核心逻辑对比

传统RAG：知识库存储的是文本片段（如“爱因斯坦于1879年出生在德国乌尔姆”“爱因斯坦提出了相对论”），检索时匹配的是文本片段的语义相似度，生成回答时直接拼接相关片段。
Graph RAG：知识库存储的是知识图谱（由“实体-关系-实体”构成，如“爱因斯坦-出生地-德国乌尔姆”“爱因斯坦-提出理论-相对论”），检索时不仅匹配实体，还会关联实体间的关系（如查询“爱因斯坦的理论对物理学有什么影响？”，Graph RAG会检索“相对论-影响领域-物理学”“相对论-引发突破-量子力学发展”等关系），生成回答时基于图谱的逻辑关系组织内容，而非简单拼接文本。

（2）适用场景对比

传统RAG适合短平快的事实性问答（如“爱因斯坦出生于哪一年？”），处理速度快，但难以处理需要逻辑推理的问题（如“爱因斯坦的理论如何影响现代GPS技术？”）。

Graph RAG则适合需要逻辑关联或多实体推理的场景——由于知识图谱明确存储了实体间的关系，能快速追溯“相对论→时空弯曲→卫星定位需考虑时空效应→GPS校准”的逻辑链，生成更具逻辑性的回答。但其缺点是知识图谱构建成本高，需人工或自动化工具提取实体与关系，且难以处理非结构化的文本信息（如情感分析、文本摘要）。

3. KV缓存：大模型推理的“效率加速器”

在大模型生成文本的过程中，Transformer的注意力层需要反复计算“查询（Query）”与“键（Key）”的相似度，若每次生成新token都重新计算所有历史token的Key和Value，会导致计算复杂度随生成长度呈二次方增长（O(n²)），严重影响推理速度。KV缓存技术通过“缓存历史token的Key和Value”，解决了这一问题。

（1）核心原理

大模型生成文本时，是逐token生成的（如先生成“AI”，再生成“技术”，最后生成“很重要”）。对于每一步生成：

首次生成（生成第一个token）：计算所有输入token的Key和Value，用于注意力计算，并将这些Key和Value缓存起来；
后续生成（生成第2、3…n个token）：仅计算当前新token的Query，不再重新计算历史token的Key和Value，而是直接调用缓存中的KV矩阵，与当前Query进行注意力计算。

通过这一方式，生成过程的计算复杂度从O(n²)降至线性复杂度O(n)，大幅减少了重复计算。

（2）实际价值

KV缓存已成为所有主流大模型推理框架（如vLLM、TGI、TensorRT-LLM）的核心优化手段，其价值主要体现在两方面：

提升生成速度：实验数据显示，启用KV缓存后，大模型的文本生成速度可提升3-5倍，例如生成1000token的文本，未启用KV缓存时需10秒，启用后仅需2-3秒，满足实时交互场景（如智能客服、对话机器人）的需求；
支持长文本生成：若不启用KV缓存，大模型生成超过1000token的长文本时，计算量会急剧增加，甚至导致显存溢出；启用KV缓存后，即使生成4096token或更长的文本，也能保持稳定的推理速度和显存占用，支持长文档生成（如报告、小说）。

不过，KV缓存的代价是增加显存占用——缓存的KV矩阵需占用一定显存，且显存占用随生成长度增加而线性增长。因此，实际应用中需在“生成速度”与“显存占用”间做权衡（如限制生成文本的最大长度，或采用“动态KV缓存”技术，释放早期不常用的KV数据）。

六、总结：AI核心技术的演进逻辑与未来方向

从Transformer与MoE的架构创新，到LoRA等微调技术的轻量化突破；从传统RAG的静态管道，到Agentic RAG的动态智能；从单一智能体的设计，到多智能体的协作——AI核心技术的演进始终围绕“提升能力、降低成本、适配场景”三大目标展开，其本质是让AI系统更贴近人类的“思考方式”与“解决问题的逻辑”。

未来，这些技术的融合将成为重要趋势：例如，Agentic RAG结合Graph RAG的知识图谱，提升逻辑推理能力；MoE架构与KV缓存结合，进一步优化大模型的推理效率；多智能体系统引入HyDE技术，提升跨场景的检索准确性。对于开发者与企业而言，理解这些技术的核心原理与适用场景，是选择合适AI方案、落地实际业务的关键；而对于行业而言，这些技术的持续迭代，将推动AI从“辅助工具”向“自主智能体”跨越，在医疗、教育、工业等领域创造更大价值。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄