在 AI 模型训练领域，数据质量的重要性正被重新评估。早期的大规模网络数据抓取虽然快速填充了语料库，但也引入了大量低质量、重复或机器生成的内容，这些内容被称为“AI 垃圾”（AI Slop）。它们污染了训练集，导致模型输出出现事实错误、逻辑混乱或风格低劣等问题。相比之下，经过专业编辑、校对和出版的纸质书籍，尤其是版权已进入公有领域（Public Domain）的经典著作，成为了高质量、高可信度文本的宝贵来源。

这类书籍的文本结构清晰、语言规范、逻辑严谨，且蕴含了人类知识的精华。对于需要学习精确表达、复杂推理和事实性知识的 AI 模型来说，它们是无可替代的训练材料。因此，越来越多的 AI 公司开始系统地数字化和收购这些旧书的版权或扫描文本，旨在构建更干净、更可靠的训练数据集，以提升模型的核心能力，减少“幻觉”（Hallucination）等输出缺陷。

本文将深入探讨 AI 公司转向旧书数据的背后原因、具体的数据处理流程、相关的技术挑战与解决方案，以及在实际工程实践中如何借鉴这一思路来提升自有模型或应用的数据质量。

1. 为什么“无 AI 污染”的旧书成为关键训练数据

1.1 网络数据的质量陷阱与“AI 垃圾”的成因

当前，互联网是 AI 训练数据最便捷的来源。然而，互联网内容生态中存在大量对模型训练不利的噪声：

  • 机器生成内容（Machine-Generated Content） ：为了搜索引擎优化（SEO）或流量而由程序批量生成的文章，往往信息量低、重复度高、逻辑性差。
  • 用户生成内容（User-Generated Content） ：论坛帖子、社交媒体评论、问答平台答案等，虽然真实但充斥着口语化、不完整、甚至错误的表达，不适合用于训练需要输出严谨文本的模型。
  • 低质量聚合内容 ：许多网站只是简单地抓取和重新拼凑其他来源的内容，缺乏原创性和深度。
  • 未被识别的 AI 生成内容 ：随着 AI 写作工具的普及，互联网上已经存在大量由早期 AI 模型生成的内容。用这些内容训练新模型，会导致“模型自噬”（Model Autophagy）或“退化循环”，即模型在不断学习自身或同类模型的输出后，性能不升反降。

这些低质量数据被统称为“AI 垃圾”（AI Slop）。用它们训练模型，就如同用嘈杂的录音去训练一个语音识别系统，结果必然不尽人意。

1.2 旧书作为高质量数据源的独特优势

与网络数据相比，版权过期或已进入公有领域的旧书具有显著优势：

  • 高准确性 ：传统出版物经过作者、编辑、校对等多轮严格审核，事实错误和语法错误极少。
  • 逻辑严谨 ：书籍通常围绕一个主题进行系统、深度的阐述，具有完整的叙事或论证结构，有助于模型学习复杂的逻辑链条。
  • 语言规范 ：用词精准，文风优美，是学习标准书面语的绝佳范本。
  • 知识密度高 ：尤其是学术著作、百科全书、经典文学作品，包含了经过时间检验的人类智慧结晶。
  • 无版权限制 ：公有领域的书籍可以自由地用于商业目的，包括 AI 训练，避免了复杂的版权清算问题。

1.3 对模型性能的具体影响

使用高质量书籍数据训练模型，能在以下几个方面直接提升模型能力：

  • 减少幻觉（Reduced Hallucination） ：模型从可靠的事实中学习，编造信息的倾向会降低。
  • 改善推理能力（Improved Reasoning） ：接触复杂的论述结构，有助于模型学会如何进行因果推理和逻辑论证。
  • 提升语言质量（Enhanced Language Quality） ：模型的输出在语法、用词和文风上会更接近高质量的书面语。
  • 增强知识一致性（Better Knowledge Consistency） ：模型从权威来源学习知识，其内部知识表征会更一致和准确。

2. 从旧书到训练数据：完整的技术处理流程

将实体书转化为可供模型训练的数字文本，需要一整套工程化的流水线。下图展示了这一流程的核心环节：

flowchart TD
    A[实体书扫描] --> B[图像预处理<br>（纠偏、去噪）]
    B --> C{文本识别<br>（OCR）}
    C -- 成功率高 --> D[结构化标注<br>（章节、段落）]
    C -- 识别困难/质量差 --> E[人工校对与修正]
    E --> D
    D --> F[质量验证<br>（格式、内容）]
    F --> G[最终清洁文本<br>（模型可读）]

2.1 数据获取与数字化

来源选择：

  • 图书馆与档案馆合作 ：与大型图书馆（如国会图书馆、大学图书馆）建立合作，批量数字化其公有领域藏书。
  • 二手书市场 ：购买特定主题的绝版书。
  • 现有数字化项目 ：利用如古登堡计划（Project Gutenberg）、互联网档案馆（Internet Archive）等已有的数字化图书资源。

扫描与OCR（光学字符识别）：

  • 硬件 ：使用高速、高分辨率的非接触式扫描仪以避免损坏书籍。
  • OCR技术 ：选用高精度的 OCR 引擎（如 Tesseract、商业OCR软件）。对于老旧书籍，需特别处理：
    • 字体识别 ：训练自定义 OCR 模型来识别旧式字体。
    • 图像预处理 ：进行去噪、纠偏、对比度增强等操作，提升识别率。
    • 布局分析 ：准确识别分栏、脚注、页码等，恢复原文结构。
# 示例：使用 Tesseract 进行 OCR 的基本代码片段
import pytesseract
from PIL import Image
import cv2

def preprocess_image(image_path):
    """图像预处理：灰度化、二值化、去噪"""
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 高斯模糊去噪
    blurred = cv2.GaussianBlur(gray, (5, 5), 0)
    # 自适应阈值二值化
    thresh = cv2.adaptiveThreshold(blurred, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2)
    return thresh

def ocr_from_image(image_path):
    """对预处理后的图像进行OCR"""
    processed_img = preprocess_image(image_path)
    # 配置 Tesseract 参数（例如指定语言为英语，使用 LSTM 引擎）
    custom_config = r'--oem 3 --psm 6 -l eng'
    text = pytesseract.image_to_string(processed_img, config=custom_config)
    return text

# 使用示例
# extracted_text = ocr_from_image('page_001.jpg')

2.2 数据清洗与标注

OCR 输出的原始文本通常包含大量错误和格式问题，需要精细清洗。

清洗步骤：

  1. 错误校正 ：纠正 OCR 引入的字符错误（如 ‘0’ 和 ‘O’， ‘1’ 和 ‘l’）。
  2. 格式清理 ：移除不必要的换行符（连接被意外断开的单词）、多余空格。
  3. 结构恢复 ：标记章节标题、段落、列表等。这通常需要结合规则和机器学习模型。
  4. 内容过滤 ：虽然旧书质量高，但仍需过滤掉与训练目标无关的内容，如出版社信息、过于陈旧的特定信息等。

质量验证：

  • 自动化检查 ：使用脚本检查文本长度、单词频率、常见错误模式。
  • 人工抽检 ：随机抽取部分文本由人工进行校对，确保最终质量。
# 示例：简单的文本后处理清洗函数
import re

def clean_ocr_text(raw_text):
    """
    对OCR输出的原始文本进行初步清洗
    """
    # 连接被断开的单词（例如 "ex-\nample" -> "example"）
    text = re.sub(r'(\w+)-\n(\w+)', r'\1\2', raw_text)
    
    # 规范化换行符，将多个空行减少为一个
    text = re.sub(r'\n\s*\n', '\n\n', text)
    
    # 移除孤立的字符和数字（可能是OCR噪声）
    # 这是一个简单的示例，更复杂的需要基于上下文判断
    # text = re.sub(r'\s\w\s', ' ', text) # 谨慎使用
    
    # 标准化标点符号周围的空格
    text = re.sub(r'\s+([.,!?;:])', r'\1', text)
    text = re.sub(r'([(])\s+', r'\1', text)
    text = re.sub(r'\s+([)])', r'\1', text)
    
    return text.strip()

# 使用示例
# raw_text = "... OCR输出的脏文本 ..."
# clean_text = clean_ocr_text(raw_text)

2.3 数据格式化与存储

清洗后的文本需要转换为模型可读的格式。

常见格式：

  • 纯文本（.txt） ：最简单，但丢失了所有结构信息。
  • JSON/Lines (.jsonl) ：每行一个 JSON 对象，可以包含文本内容和元数据（如书名、作者、章节号）。
  • XML/TEI ：适合需要保留复杂结构（如诗歌、剧本）的文本。
// 示例：.jsonl 格式的每行数据
{
  "id": "unique_id_12345",
  "source": "The Complete Works of William Shakespeare",
  "author": "William Shakespeare",
  "publication_year": 1623,
  "section_type": "play",
  "title": "Hamlet, Prince of Denmark",
  "act": 3,
  "scene": 1,
  "text": "To be, or not to be, that is the question: Whether 'tis nobler in the mind to suffer The slings and arrows of outrageous fortune, Or to take arms against a sea of troubles..."
}

3. 工程实践：构建高质量训练数据集的策略

对于大多数团队而言，大规模扫描旧书并不现实，但可以采纳其核心思想来优化自己的数据策略。

3.1 数据源评估与选择标准

在选择任何数据源时，都应建立一套评估标准：

评估维度 高质量源特征 低质量源特征
权威性 知名出版社、学术机构、权威专家 匿名网站、内容农场
准确性 有明确的引用来源、事实核查流程 事实错误频出、缺乏依据
时效性 （根据需求）信息更新及时或经典永恒 信息严重过时且未注明
原创性 第一手资料、深度分析 大量抄袭、拼凑
语言质量 语法正确、逻辑清晰、文笔流畅 错别字多、语句不通、逻辑混乱

行动建议： 优先选择教科书、学术论文、官方文档、知名非虚构作品、经典文学作品作为核心训练数据源。

3.2 数据清洗流水线设计

建立一个可重复、可配置的数据清洗流水线（Data Cleaning Pipeline）。这个流水线通常包含多个阶段性的过滤器。

  1. 去重 ：使用模糊哈希（如 SimHash）或文本嵌入向量计算相似度，去除重复或近乎重复的内容。
  2. 质量过滤 ：
    • 基于规则 ：过滤掉过短/过长的句子、符号占比异常的文本、包含大量脏话或敏感词的文本。
    • 基于分类器 ：训练一个二分类模型（如使用 RoBERTa），区分高质量文本和低质量文本。
  3. 安全与偏见过滤 ：识别并过滤掉包含极端观点、歧视性语言、个人隐私信息的内容。
  4. 语言一致性 ：如果训练特定语言模型，确保数据主体为该语言。
# 示例：一个简单的基于规则的质量过滤器概念
def basic_quality_filter(text, min_words=5, max_symbol_ratio=0.3):
    """
    基础文本质量过滤器
    """
    words = text.split()
    num_words = len(words)
    
    # 检查文本长度
    if num_words < min_words:
        return False, "Text too short"
    
    # 检查符号比例（可能是乱码或代码）
    symbol_count = sum(1 for char in text if not char.isalnum() and not char.isspace())
    symbol_ratio = symbol_count / len(text) if len(text) > 0 else 0
    if symbol_ratio > max_symbol_ratio:
        return False, f"High symbol ratio: {symbol_ratio:.2f}"
    
    # 可以添加更多规则...
    # 例如：检查是否大部分字母都是大写（可能是标题或噪音）
    
    return True, "Pass"

# 使用示例
# is_high_quality, reason = basic_quality_filter(a_text_sample)

3.3 数据混合与配比策略

即使获得了高质量的旧书数据，也不应完全抛弃其他数据源。正确的做法是进行科学的混合。

  • 核心知识基座 ：使用旧书、教科书等高质量数据（约占 50%-70%），为模型打下坚实的知识和语言基础。
  • 现代知识与风格 ：混合经过严格筛选的现代新闻文章、百科条目等（约占 20%-40%），让模型了解当代事件和语言风格。
  • 对话与指令遵循 ：加入少量高质量的人工编写的对话数据或指令-回答对（约占 5%-10%），用于微调模型的交互能力。

注意 ：混合比例需要根据具体任务通过实验（A/B测试）来确定。盲目增加高质量数据的比例有时反而会损害模型在某些任务（如聊天）上的表现。

4. 常见挑战与解决方案

在实际操作中，会遇到各种技术和非技术的挑战。

4.1 技术挑战

挑战 现象 解决方案
OCR 精度低 文本中大量乱码、字符错误。 1. 优化图像预处理算法。
2. 针对特定字体训练自定义 OCR 模型。
3. 使用商业级高精度 OCR 服务。
版面分析复杂 脚注、表格、分栏内容被错误拼接。 1. 使用先进的版面分析 AI 工具（如 LayoutParser）。
2. 对于极端复杂版面，采用人工标注。
数据格式不一致 不同来源的数字化文本格式千差万别。 1. 制定统一的数据规范（Schema）。
2. 编写强大的解析器（Parser）来处理多种格式。
计算与存储成本 海量文本的处理和存储需要大量资源。 1. 采用分布式处理框架（如 Apache Spark）。
2. 使用云存储和弹性计算资源。

4.2 非技术挑战（法律与伦理）

  • 版权问题 ：
    • 核心原则 ：严格使用公有领域作品，或确保已获得版权授权。
    • 灰色地带 ：对于版权尚未过期但已绝版的书籍，需要谨慎评估“合理使用”（Fair Use）原则的适用范围，建议咨询法律专家。
  • 文化偏见 ：旧书可能反映其写作时代的文化观念，可能包含过时或有害的偏见。
    • 解决方案 ：在数据清洗阶段主动识别和过滤带有严重偏见的内容，并在模型评估中加入公平性（Fairness）指标。

5. 总结与实践清单

AI 公司收购旧书这一趋势，本质上是数据驱动AI发展模式进入“精耕细作”阶段的标志。它强调了数据质量相对于数据数量的优先级的转变。对于从事 AI 开发和研究的工程师而言，其中的核心启示是： 必须像重视算法创新一样重视训练数据的质量。

构建高质量训练数据集的实践清单：

  1. 源头把控 ：建立数据源白名单，优先选择权威、经典、结构化的来源。
  2. 流程化清洗 ：构建自动化的数据清洗流水线，包含去重、质量过滤、安全过滤等关键步骤。
  3. 科学混合 ：根据模型目标，合理配比高质量基座数据、现代知识和交互数据。
  4. 持续迭代 ：数据工作不是一次性的，需要根据模型表现反馈不断优化数据集。
  5. 合法合规 ：始终将版权和法律合规放在首位，避免潜在风险。

将资源投入到获取和清理高质量数据上，虽然前期成本较高，但从模型效果的长期收益和稳定性来看，这是一项极具价值的投资。最终，一个强大的 AI 模型，其能力上限在很大程度上是由它所学习的数据的质量决定的。

Logo
码道开发者社区

码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践

更多推荐

Manim 数学动画完全指南：五分钟从零到成片

Manim 是用 Python 驱动的数学动画引擎，把抽象的公式与曲线转成逐帧可控的动态可视化。适合想制作 Python 数学可视化视频的编程新手、数学学生和科普创作者。## 数学为什么需要"动"起来你试过用一张静态图讲清导数的概念吗？切线、割线、极限位置都能画出来，但"割线逼近切线"发生的那一下，观众只能靠脑补。课本插图大多是"结论截图"：只留下最终状态，过程被压缩成一句"易见"。函

avatar 码道开发者社区
cover

Claude API + Python实战：结构化输出后，如何拦住“看起来正确”的JSON

avatar 码道开发者社区
cover

GLM-5.3-Flash深度解析：3200亿参数只卖Opus四十分之一，国产算力首次跑通前沿模型

avatar 码道开发者社区