2.2 文档加载与解析技术

2.2 文档加载与解析技术

从文件到知识：RAG的第一道关卡

文档加载与解析是RAG数据管线的入口。用户的知识通常以各种文件格式存储——PDF报告、Word文档、网页、Markdown笔记、Excel表格、PPT演示文稿等。将这些异构格式的文件高效、准确地转换为可被RAG系统消费的结构化文本，是构建高质量知识库的第一道关卡。

一个优秀的文档加载与解析系统需要同时解决三个问题：兼容性（支持多少种格式）、准确性（解析保真度有多高）、效率（处理速度和资源消耗如何）。本章将深入探讨各种文档格式的解析技术、工具选型以及工程实践。

文档加载器架构

统一加载接口

设计一个统一的文档加载器抽象层，屏蔽底层格式差异：

from abc import ABC, abstractmethod
from dataclasses import dataclass

@dataclass
class Document:
    content: str           # 文本内容
    metadata: dict        # 元数据（标题、作者、日期等）
    page_info: list       # 页码/位置信息，用于溯源
    sections: list        # 结构化章节信息
    
class BaseLoader(ABC):
    @abstractmethod
    def load(self, source: str) -> list[Document]:
        """加载并解析文档，返回Document列表"""
        pass
    
    @abstractmethod
    def supported_formats(self) -> list[str]:
        """返回支持的文件格式列表"""
        pass
​

加载器注册机制

通过注册机制管理不同格式的加载器，支持灵活扩展：

class LoaderRegistry:
    def __init__(self):
        self.loaders = {}
    
    def register(self, format_ext: str, loader: BaseLoader):
        self.loaders[format_ext.lower()] = loader
    
    def get_loader(self, file_path: str) -> BaseLoader:
        ext = file_path.rsplit('.', 1)[-1].lower()
        return self.loaders[ext]

registry = LoaderRegistry()
registry.register('pdf', PDFLoader())
registry.register('docx', DocxLoader())
registry.register('html', HTMLLoader())
# ... 按需注册更多格式
​

PDF解析技术

PDF是RAG场景中最常见也最棘手的文档格式。PDF设计初衷是"所见即所得"的打印格式，而非结构化的数据格式，因此解析难度较大。

PDF解析的三种策略

策略一：文本提取（Text Extraction）

直接提取PDF中嵌入的文本层。适用于文本型PDF（由Word等工具生成的电子文档）。

工具选择：

• PyMuPDF（fitz）：速度快，对文本型PDF效果极好，支持OCR备选。
• pdfplumber：擅长表格提取，能精确定位文本的坐标位置。
• PyPDF2/pypdf：轻量级纯Python方案，适合简单场景。

局限性：对扫描件、图片型PDF完全无效；对复杂排版（多栏、脚注、页眉页脚混排）的文本顺序可能混乱。

策略二：OCR识别（Optical Character Recognition）

对PDF进行图像渲染后使用OCR引擎识别文字。适用于扫描件和图片型PDF。

工具选择：

• Tesseract：开源OCR引擎，支持100+语言，中文识别效果良好。可通过 pytesseract 在Python中调用。
• PaddleOCR：百度开源，对中文识别效果优于Tesseract，支持表格识别。
• 云服务OCR：如Azure Document Intelligence、AWS Textract、Google Document AI，精度高但成本较高。

局限性：处理速度慢（每页数秒）；识别精度受原始图像质量影响大；数学公式、手写体识别效果有限。

策略三：深度理解（Deep Understanding）

使用基于深度学习的文档理解模型，不仅能提取文本，还能理解文档的逻辑结构。

工具选择：

• LayoutLM系列（微软）：结合文本和布局信息的预训练模型，能识别标题、段落、表格、列表等结构元素。
• DocTR：端到端文档理解框架，支持文本检测和识别。
• RAGFlow内置解析器：集成了多种文档理解能力，是当前开源方案中综合效果较好的选择。
• MinerU：专注于PDF深度解析的开源工具，支持复杂版面的结构化解析。

局限性：计算资源需求高；部署复杂度较大；对特殊排版（如古籍、工程图纸）支持有限。

PDF解析的推荐策略

根据PDF质量和数量选择策略：

最佳实践：先尝试文本提取（快速且免费），如果提取结果质量不达标（文本过短、乱码多），再降级到OCR或深度理解方案。

Word文档解析

Word文档（.docx）的结构化程度远高于PDF，解析相对简单：

工具选择：

• python-docx：最常用的Python Word解析库，支持段落、表格、标题等元素的提取。
• docx2txt：更轻量的纯文本提取工具，适合不需要保留结构的场景。
• mammoth：专注于将Word文档转换为HTML，对样式保留较好。

from docx import Document

def parse_docx(file_path):
    doc = Document(file_path)
    content = []
    metadata = {}
    
    # 提取元数据
    core_props = doc.core_properties
    metadata = {
        'title': core_props.title,
        'author': core_props.author,
        'created': str(core_props.created),
        'modified': str(core_props.modified),
    }
    
    # 提取内容（保留结构）
    for para in doc.paragraphs:
        style = para.style.name
        text = para.text.strip()
        if text:
            content.append({
                'text': text,
                'style': style,  # 'Heading 1', 'Normal' 等
                'level': get_heading_level(style)
            })
    
    return content, metadata
​

注意事项：

• Word文档中可能嵌入图片、图表和OLE对象，纯文本提取会丢失这些信息。如需保留，需额外处理嵌入对象。
• 某些Word文档使用自定义样式，需要建立样式到标准标题层级的映射表。

HTML/网页解析

网页是最常见的知识来源之一，但网页内容中充斥着噪声：

工具选择：

• BeautifulSoup + readability-lxml：将HTML转换为正文，有效去除广告、导航等噪声。
• trafilatura：专门用于从网页中提取正文内容的库，效果优于通用HTML解析器。
• newspaper3k：针对新闻文章优化，能智能提取标题、作者、发布日期和正文。

import trafilatura

def parse_webpage(url):
    downloaded = trafilatura.fetch_url(url)
    if downloaded:
        result = trafilatura.extract(downloaded, 
            include_comments=False,
            include_tables=True,
            favor_precision=True
        )
        metadata = trafilatura.extract_metadata(downloaded)
        return result, metadata
    return None, None
​

高级技巧：

• CSS选择器定向提取：对于结构化的网站（如文档站点），使用CSS选择器精确提取目标内容区域，避免通用提取器的误判。
• JavaScript渲染页面：对于SPA（单页应用）或动态加载的内容，需要使用Playwright/Selenium等工具先渲染页面，再提取内容。

其他常见格式

Markdown文件

Markdown是结构化程度最高的纯文本格式，天然适合RAG系统：

• 直接读取文本内容即可。
• 标题层级（#、##、###）直接对应文档结构，可用于智能分块。
• 代码块（```）有明确的分隔标记。
• 建议使用 markdown-it-py 等库解析为AST（抽象语法树），便于精确提取结构。

Excel/CSV表格

表格数据需要特殊处理：

• 列头识别：识别表头行，建立列名到数据的映射。
• 单元格合并处理：处理合并单元格的展开逻辑。
• 语义理解：使用LLM理解表格的语义（每列含义、行之间的关系），生成自然的文本描述用于向量化。
• 工具选择：openpyxl（Excel）、pandas（CSV/Excel）、camelot（PDF表格提取）。

PPT/演示文稿

• 每页幻灯片作为一个独立的文本块。
• 提取标题、正文文本、备注信息。
• 工具选择：python-pptx。

批量处理与性能优化

在实际项目中，文档数量可能达到数万甚至数十万：

并行处理

利用多进程/多线程加速批量文档解析：

from concurrent.futures import ProcessPoolExecutor

def batch_parse(file_paths, workers=4):
    with ProcessPoolExecutor(max_workers=workers) as executor:
        results = list(executor.map(parse_document, file_paths))
    return results
​

断点续传

记录已处理文件的清单，支持中断后从断点继续：

import hashlib, json, os

def get_file_hash(filepath):
    with open(filepath, 'rb') as f:
        return hashlib.md5(f.read()).hexdigest()

class ParseStateManager:
    def __init__(self, state_file='parse_state.json'):
        self.state = self._load_state(state_file)
    
    def is_processed(self, filepath):
        fhash = get_file_hash(filepath)
        return fhash in self.state
    
    def mark_done(self, filepath, metadata):
        fhash = get_file_hash(filepath)
        self.state[fhash] = metadata
        self._save_state()
​

内存管理

大文件解析时注意内存控制：

• 使用流式读取（逐页处理PDF，而非一次性加载全部页面）。
• 处理完的文档及时释放内存。
• 设置内存使用上限，超出时暂停处理并持久化中间结果。

文档质量评估

解析完成后需要对结果进行质量评估：

• 提取率：有效提取的文本字符数 / 文件总大小。过低可能意味着解析失败。
• 语言分布：检测提取文本的主要语言，确认与预期一致。
• 结构完整性：检查标题层级是否连续、是否有大量孤立短文本。
• 异常检测：检测包含大量特殊字符、重复内容或乱码的文档，标记为需要人工审核。

小结

文档加载与解析是RAG系统数据管线的起点，也是质量的第一道防线。核心要点：

1. 统一抽象层：通过接口抽象屏蔽格式差异，便于扩展和维护。
2. 格式对症下药：不同格式使用不同解析策略，PDF尤其需要分级处理。
3. 质量优先于速度：宁可花更多时间获得准确的解析结果，也不要将噪声灌入下游系统。
4. 批量处理要有工程思维：并行处理、断点续传、内存管理是生产环境的必备能力。
5. 持续评估：建立文档解析质量的自动化评估体系，及时发现和修复问题。

下一节我们将讨论文档分割策略，了解如何将解析后的完整文档切分为适合向量化和检索的文本片段。