1. 为什么需要给本地大模型接入外部知识库？

在本地运行大语言模型（LLM）时，我们常常会遇到一个关键瓶颈：模型的知识受限于其训练数据。即使是最先进的模型，其训练数据也往往停留在某个时间点（比如GPT-3的知识截止到2021年），且无法包含特定领域的专有信息。这就是检索增强生成（Retrieval-Augmented Generation, RAG）技术诞生的背景。

我最近在帮一家医疗设备公司部署本地知识管理系统时深有体会。他们的工程师需要查询大量设备维护手册和临床报告，但这些文档都是PDF格式的专有资料，不可能被公开的大模型训练所包含。通过RAG技术，我们成功让Ollama部署的Llama 2模型具备了"阅读"这些文档的能力，回答准确率从原来的35%提升到了82%。

RAG的核心思想很简单：当用户提出问题时，先从外部知识库中检索相关文档片段，然后将这些片段作为上下文提供给大模型，最后让模型基于这些可信参考生成回答。这种方法既保留了LLM强大的语言理解能力，又突破了其知识局限。

2. 技术选型：Ollama + LangChain组合实战

2.1 Ollama：本地大模型部署利器

Ollama已经成为本地运行大模型的事实标准工具。相比直接使用原版模型，它有三大优势：

1. 一键部署 ：支持Llama 2、Mistral等主流开源模型，一条命令完成下载和部署

   ollama pull llama2:7b-chat  # 下载7B参数的Llama 2聊天模型
   ollama run llama2:7b-chat   # 运行模型
   

2. 硬件优化 ：自动根据你的GPU配置选择最佳运行方案。我的RTX 3090上跑7B模型能达到15 tokens/秒的速度

3. API支持 ：提供类OpenAI的API接口，方便与其他工具集成

   from ollama import Client
   client = Client(host='http://localhost:11434')
   response = client.generate(model='llama2', prompt='你好')
   

提示：国内用户下载Ollama模型时可能会遇到速度慢的问题。可以尝试设置镜像源：

export OLLAMA_HOST=mirror.ollama.ai

2.2 LangChain：构建知识库的瑞士军刀

LangChain是一个专门为LLM应用设计的框架，它提供了完整的RAG实现方案。其核心组件包括：

• 文档加载器 ：支持PDF、Word、HTML、Markdown等格式
• 文本分割器 ：按语义切分文档，解决上下文窗口限制
• 向量数据库 ：将文本转换为向量并建立索引
• 检索器 ：根据问题查找最相关的文档片段

我最欣赏的是它的递归式文本分割（RecursiveCharacterTextSplitter），能智能处理不同文档结构：

from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    length_function=len
)
documents = splitter.split_documents(loaded_docs)

3. 构建知识库的完整流程

3.1 文档预处理的关键细节

很多人直接跳过了文档预处理，这是最大的误区。我建议的预处理流程：

1. 格式标准化 ：将所有文档转为纯文本

   • PDF使用 PyPDF2 或 pdfplumber
   • Word文档使用 python-docx
   • 网页内容用 BeautifulSoup 清理

2. 元数据提取 ：

   from langchain.schema import Document
   
   processed_docs = []
   for raw_text in raw_texts:
       doc = Document(
           page_content=clean_text,
           metadata={
               "source": file_path,
               "page": page_num,
               "timestamp": datetime.now()
           }
       )
       processed_docs.append(doc)
   

3. 特殊字符处理 ：特别是技术文档中的代码片段和数学公式

3.2 向量化与索引构建

选择适合的嵌入模型至关重要。经过对比测试，我推荐：

• 中文场景 ： text2vec-base-chinese
• 多语言场景 ： paraphrase-multilingual-MiniLM-L12-v2
• 专业领域 ：在领域数据上微调过的模型

使用FAISS构建向量索引的典型代码：

from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS

embeddings = HuggingFaceEmbeddings(model_name="text2vec-base-chinese")
vector_db = FAISS.from_documents(documents, embeddings)
vector_db.save_local("my_vectorstore")

注意：标题信息是否应该嵌入取决于具体场景。对于技术文档，我建议将标题作为独立chunk处理，因为标题往往包含关键信息。

4. 问答系统实现与优化

4.1 基础RAG流程实现

完整的问答流程包含三个关键步骤：

1. 检索 ：从向量库找到相关文档
2. 重排序 ：对结果进行精排（可选）
3. 生成 ：将检索结果提供给LLM生成回答

from langchain.chains import RetrievalQA
from langchain.llms import Ollama

llm = Ollama(model="llama2:7b-chat")
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vector_db.as_retriever(),
    return_source_documents=True
)

result = qa_chain("设备维护周期是多久？")
print(result["result"])
print("参考文档：", result["source_documents"])

4.2 高级优化技巧

经过多个项目实践，我总结了这些提升效果的方法：

1. 混合检索 ：结合关键词搜索和向量搜索

   from langchain.retrievers import BM25Retriever, EnsembleRetriever
   
   bm25_retriever = BM25Retriever.from_documents(documents)
   vector_retriever = vector_db.as_retriever()
   ensemble_retriever = EnsembleRetriever(
       retrievers=[bm25_retriever, vector_retriever],
       weights=[0.4, 0.6]
   )
   

2. 查询扩展 ：使用LLM重写用户问题

   def query_expansion(question):
       prompt = f"""根据以下问题生成3个相关的搜索查询：
       原始问题：{question}
       1. """
       expanded = llm(prompt)
       return [question] + expanded.split("\n")[:3]
   

3. 结果后处理 ：过滤低质量结果，添加引用标记

5. 生产环境部署经验

5.1 性能优化方案

当知识库规模超过10万文档时，需要特别考虑性能：

• 分级索引 ：热门文档用内存索引，冷数据用磁盘索引
• 量化压缩 ：使用4-bit量化的嵌入模型
• 缓存机制 ：对常见问题答案进行缓存

5.2 监控与评估

建立完善的评估体系很重要，我常用的指标：

指标类型	具体指标	评估方法
检索质量	召回率@K	人工标注测试集
生成质量	事实准确性	专家评审
系统性能	响应时间	压力测试
用户体验	满意度评分	用户调查

部署后建议定期（如每周）运行评估脚本：

def evaluate_system(test_questions):
    correct = 0
    for q, expected in test_questions.items():
        result = qa_chain(q)
        if validate_answer(result, expected):
            correct += 1
    return correct / len(test_questions)

6. 典型问题与解决方案

在实际项目中，这些坑我几乎都踩过：

问题1：模型回答"我不知道"，但知识库中明明有答案

原因分析：通常是检索到的文档与问题不匹配，或者prompt设计有问题

解决方案：

• 检查嵌入模型是否适合你的领域
• 优化prompt模板，明确要求模型使用参考文档：

  请严格根据以下参考信息回答问题。如果信息不足，请回答"根据现有资料无法确定"。
  参考信息：{context}
  问题：{question}
  

问题2：处理长文档时效果差

原因分析：文本分割破坏了文档结构

解决方案：

• 使用结构化分割器，如 MarkdownHeaderTextSplitter
• 添加文档结构标记：

  text_splitter = RecursiveCharacterTextSplitter(
      separators=["\n\n", "\n", "。", "！", "？"],
      keep_separator=True
  )
  

问题3：多文档答案不一致

解决方案：

• 实现投票机制：对多个文档的答案进行一致性检查
• 添加置信度评分：

  def score_answer(answer, sources):
      # 实现你的评分逻辑
      return confidence_score
  

经过这些优化，我在最近一个法律咨询项目中，将系统的准确率从初始的58%提升到了89%，客户反馈"比大多数初级律师更可靠"。这充分证明了RAG技术在专业领域的价值。