当下让大模型掌握企业的知识和流程,成为企业AI应用的首选,今天我们介绍一下用Dify搭建一个简单RAG知识库,基于Prompts+ Embedding+Rerank混合方案,实现更高准确率。

一、搭建知识库

1、创建知识库

(1)登录Dify控制台 → 知识库 → 创建知识库,如下图所示

图片

(2)创建一个空知识库

图片

(3)输入知识库名称后,单击创建按钮

图片

2、选择数据源

(1)添加文件

图片

(2)选择文件

图片

(3)选择QA文件打开,并点下一步

利用知识库对QA数据进行知识构建,通过用户输入的文本对QA进行检索,返回最相似的TopK个文本

图片

图片

3、文本分段与清洗

      内容上传到知识库之后,需要进行分块和数据清洗,这个阶段可以理解为内容的预处理和结构化。

(1)分段设置,这里先选择通用

图片

(2)索引方式默认是经济,索引设置倒排索引,TopK默认2,单击保存并处理

经济模式采用离线向量引擎和关键字索引,虽然准确率有所降低,但省去了额外的 token 消耗和相关成本。

在经济索引模式下,Dify 提供单一检索设置:倒排索引和TopK

倒排索引:一种为快速检索文档中的关键字而设计的索引结构。

TopK和分数阈值:设置检索结果的数量和相似度阈值。

图片

(3)索引模式这里我们先选择经济,不选择高质量,后期我们在单独写一篇文章介绍,这种模式需要提前部署配置嵌入模型和Rerank模型。

图片

4、处理并完成,如下图所示:

图片

二、Dify设计AI工作流

1、创建工作流

(1)登录Dify控制台 → 工作室 → 创建空白应用,如下图所示

图片

(2)选择工作流,填写应用名称比如企业RAG知识库,单击创建按钮

图片

(3)创建完成,如下图所示:

图片

2、工作流编排

(1)开始节点编排

  • 登录Dify控制台 → 工作室 → 工作流(单击上面创建的知识库工作流),如下图所示

图片

  • 添加描述和单击输入字段后面的加号+

图片

  • 选择文本,输入变量名称和显示名称,长度默认,必填,单击保存

图片

(2)添加“知识检索”节点

  • 单击下图所示添加下一个节点的加号+

图片

  • 选择“知识检索”

图片

图片

  • 设置查询变量值,单击设置变量值框,选择开始节点输入值query

图片

图片

  • 添加知识库,单击知识库后面的加号+,选中上面创建的”企业知识库“,然后单击”添加“按钮

图片

图片

图片

(3)添加“LLM”大语言模型节点

  • 单击添加下一个节点的加号+,选中“LLM"

图片

图片

  • 系统会自动分类一个已部署的大模型,手动设置已部署大模型方法如下图所示:我这里选中的是本地部署的模型

图片

图片

  • 设置上下文变量值,单击设置变量值框,然后选中知识检索结果result

图片

图片

图片

(4)添加流程”结束“节点并输出结果

  • 单击添加下一个节点的加号+,选中“结束"

图片

图片

  • 设置输出变量值,选择”LLM“节点输出结果text

图片

图片

图片

三、Dify工作流运行测试、发布

1、单击”运行“按钮

图片

2、输入“数字化”,单击开始运行

图片

3、我的大模型选择的是本地的,运行比较慢,现在相应节点显示”运行“状态

图片

4、知识检索的输出结果,就是企业知识库QA文档的内容

图片

图片

5、“LLM”节点以“知识检索”的输出作为上下文,并调用大语言模型

图片

6、LLM节点,通过大语言模型,对知识检索的进行补充完善,输出如下图所示

图片

7、测试成功后,单击“发布” → “发布更新”

图片

      总结:通过上述方法,即使无开发经验也能轻松在Dify中轻松设计RAG知识库工作流,希望通过本文大家都能开启企业AI应用开发,结合企业实际业务场景开发深度应用。

我们该怎样系统的去转行学习大模型 ?

很多想入行大模型的人苦于现在网上的大模型老课程老教材,学也不是不学也不是,基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近100余次后,终于把整个AI大模型的学习门槛,降到了最低!

您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料 分享出来: 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

一、大模型经典书籍(免费分享)

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告(免费分享)

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、大模型系列视频教程(免费分享)

在这里插入图片描述

四、2025最新大模型学习路线(免费分享)

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体。

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调。

L5阶段:专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方二维码,免费领取

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐