5.2 提示工程实践

5.2 提示工程实践 — RAG知识库实战提示优化指南

本节导读：掌握在RAG系统中设计和优化提示词的核心技术，学会从基础prompt设计到Few-Shot、Chain-of-Thought等高级提示策略的完整流程，实现高质量的检索增强生成效果。读者读完本节将能独立设计出适配不同RAG场景的提示模板。

学习目标

• 理解RAG提示工程与传统提示工程的本质区别
• 掌握RAG专用提示设计的三种核心模式：零样本、少样本、思维链
• 学会使用结构化指令和角色设定提升生成质量
• 能够处理RAG中的幻觉抑制和来源引用问题
• 了解提示版本管理和A/B测试的工程化方法

核心概念

为什么RAG需要专门的提示工程

很多开发者把RAG系统中的提示设计等同于普通的LLM对话，这是新手最容易犯的错误。传统LLM对话中，模型依赖自身参数化知识回答问题；而在RAG系统中，模型需要严格基于外部检索到的上下文来回答，同时还不能丢失对话的自然性。这就带来了两个核心矛盾：

1. 忠实度与流畅性的矛盾：要求模型"只根据上下文回答"，但回答读起来又不能像机械的摘要拼接。
2. 信息量与准确性的矛盾：用户希望得到丰富的回答，但上下文中可能只有部分信息，模型必须在"不知道"和"适当推理"之间做判断。

理解这两个矛盾，是设计高质量RAG提示的起点。

RAG提示工程的核心架构

一个成熟的RAG提示通常由三层组成：指令层告诉模型"做什么"、上下文层提供"依据什么"、约束层限定"不能做什么"。三层各司其职，缺一不可。

环境准备 / 前置知识

import json
import re
from typing import Dict, List, Optional
from dataclasses import dataclass, field
from enum import Enum
​

本节假设读者已掌握本教程第4章的检索策略和5.1节的LLM配置基础。所有代码示例使用Python标准库和LangChain核心接口，无需额外安装。

分步实战

步骤1：零样本RAG提示——最简可用方案

零样本提示是RAG系统的"Hello World"，不提供示例，仅通过指令引导模型基于上下文回答。

1.1 基础问答模板

@dataclass
class RAGPromptConfig:
    """RAG提示配置"""
    system_role: str = "你是一个专业的知识库助手。"
    task_instruction: str = "根据提供的参考文档回答用户问题。"
    constraint_instruction: str = (
        "约束条件：\n"
        "1. 只基于参考文档中的信息回答，不编造文档中没有的内容\n"
        "2. 如果文档中没有相关信息，直接回答\"根据现有资料无法回答该问题\"\n"
        "3. 回答使用中文，保持客观专业的语气"
    )
    output_format: str = "以结构化的方式组织回答，适当使用分点列举。"


class ZeroShotRAGPrompt:
    """零样本RAG提示构建器"""
    
    def __init__(self, config: RAGPromptConfig = None):
        self.config = config or RAGPromptConfig()
        self.template = """
{system_role}

{task_instruction}

【参考文档】
{context}

【用户问题】
{question}

{constraint_instruction}

{output_format}
"""
    
    def build(self, context: str, question: str) -> str:
        return self.template.format(
            system_role=self.config.system_role,
            task_instruction=self.config.task_instruction,
            context=context,
            question=question,
            constraint_instruction=self.config.constraint_instruction,
            output_format=self.config.output_format
        )
​

为什么这样设计？ 注意约束条件中"不编造"和"无法回答"是分开写的。很多新手只写"不编造"，模型仍然会尝试基于自身知识"补充"答案。必须明确告诉模型"不知道的时候怎么说"，这才是真正的幻觉防线。

1.2 带来源引用的零样本提示

在需要可追溯性的场景（企业知识库、合规问答）中，要求模型标注信息来源是刚需：

CITATION_PROMPT = """
你是一个严谨的知识库问答助手。请根据参考文档回答问题，并标注信息来源。

【参考文档】
{context}

【用户问题】
{question}

回答要求：
1. 只基于参考文档回答，每条关键信息后用[来源X]标注来自哪个文档片段
2. 如果文档中没有相关信息，回答"根据现有资料无法确定"
3. 先给出直接答案，再展开分析

回答：
"""
​

这里的关键设计是"先给答案再展开"。如果让模型先分析再给结论，读者要翻到最下面才能看到答案，体验很差。先结论后论证是RAG回答的黄金顺序。

步骤2：少样本提示——用示例校准输出风格

零样本提示的问题是：模型对"结构化""客观专业"这类模糊指令的理解因模型而异。少样本提示通过提供2-3个输入输出示例，精确校准模型的理解。

FEW_SHOT_RAG_PROMPT = """
你是一个技术文档问答助手。请根据参考文档回答问题。

【示例1】
参考文档："Redis 6.0引入了多线程I/O，默认情况下I/O线程数为4，可以通过io-threads配置项修改。"
用户问题：Redis 6.0的I/O线程数默认是多少？
参考回答：Redis 6.0的I/O线程数默认为4个，可通过io-threads配置项进行调整。

【示例2】
参考文档："向量数据库Milvus支持两种索引类型：HNSW适合小到中等规模数据集，IVF_FLAT适合大规模数据集但需要更多内存。"
用户问题：小规模数据集推荐用哪种索引？
参考回答：小规模数据集推荐使用HNSW索引，它在中小规模场景下表现优异。

【参考文档】
{context}

【用户问题】
{question}

请按照示例的风格回答：简洁直接，先给结论再补充细节。
回答：
"""
​

少样本提示的核心价值不是"教模型知识"，而是"统一输出风格"。上面的两个示例明确传达了三个信号：回答要简短、要先说结论、要适当补充上下文。这比写100字的"风格说明"有效得多。

步骤3：思维链提示——提升复杂推理能力

Chain-of-Thought（CoT）在RAG场景中尤为重要。当问题需要跨文档综合、对比分析或因果推理时，让模型"先想后答"能显著提升准确性。

3.1 标准思维链RAG提示

COT_RAG_PROMPT = """
你是一个需要深度分析的知识库助手。请按以下步骤回答问题：

【参考文档】
{context}

【用户问题】
{question}

请按以下步骤思考和回答：
步骤1：提取问题中的关键概念和约束条件
步骤2：从参考文档中找出与每个关键概念相关的信息
步骤3：分析这些信息之间的关系，进行综合推理
步骤4：基于推理结果给出最终答案

注意：
- 在步骤2中，明确引用文档中的原文或数据
- 在步骤3中，说明推理的逻辑链条
- 如果文档信息不足以完成推理，在步骤3中明确指出缺失的信息

回答：
"""
​

3.2 Self-Consistency：多路径推理取最优

Self-Consistency是CoT的进阶技巧：对同一个问题生成多个思维链推理过程，然后通过多数投票选择最一致的答案。在RAG场景中特别适合处理歧义性问题：

class SelfConsistencyRAG:
    """自一致性RAG推理"""
    
    def __init__(self, llm_client, n_samples: int = 3, temperature: float = 0.7):
        self.llm = llm_client
        self.n_samples = n_samples
        self.temperature = temperature
    
    def answer_with_consistency(self, context: str, question: str) -> Dict:
        """生成多个推理路径，投票选最优答案"""
        reasoning_results = []
        
        for i in range(self.n_samples):
            # 每次使用不同的temperature产生不同的推理路径
            prompt = COT_RAG_PROMPT.format(context=context, question=question)
            response = self.llm.generate(prompt, temperature=self.temperature + i * 0.1)
            reasoning_results.append(response)
        
        # 提取每个推理过程的最终答案
        answers = [self._extract_final_answer(r) for r in reasoning_results]
        
        # 多数投票
        from collections import Counter
        answer_counts = Counter(answers)
        best_answer = answer_counts.most_common(1)[0][0]
        confidence = answer_counts.most_common(1)[0][1] / self.n_samples
        
        return {
            'answer': best_answer,
            'confidence': confidence,
            'reasoning_paths': reasoning_results,
            'agreement_ratio': confidence
        }
    
    def _extract_final_answer(self, response: str) -> str:
        """从推理过程中提取最终答案"""
        # 简化实现：取最后一部分作为答案
        parts = re.split(r'步骤4[：:]?', response)
        return parts[-1].strip() if len(parts) > 1 else response[-200:]
​

何时用Self-Consistency？ 我建议在以下场景使用：问题涉及数据对比、需要多步推理、或者检索到的文档存在矛盾信息。但要注意，这意味着调用LLM 3-5 次，成本和延迟都会成倍增加。对于简单的事实查询，零样本或少样本就足够了。

步骤4：角色设定与领域适配

RAG系统的用户群体往往是特定领域的专业人士。通过角色设定，可以让模型的回答更贴合目标受众：

DOMAIN_PROMPTS = {
    'legal': """
你是一位资深法律顾问，拥有10年企业法务经验。
请根据提供的法律文档回答问题，注意：
1. 使用精确的法律术语，避免模糊表达
2. 引用具体的法条或条款编号
3. 对于有争议的法律问题，说明不同观点和主流立场
4. 明确区分"法律规定"和"实践建议"
""",
    
    'medical': """
你是一位临床医学顾问。请根据提供的医学文献回答问题，注意：
1. 引用文献中的具体数据和结论
2. 区分"已证实""有证据支持"和"理论推测"
3. 涉及治疗方案时，说明适应症和注意事项
4. 明确声明：本回答仅供参考，不构成医疗建议
""",
    
    'engineering': """
你是一位高级软件工程师，擅长系统架构设计。
请根据提供的技术文档回答问题，注意：
1. 给出可直接使用的代码示例
2. 说明技术方案的适用场景和限制
3. 比较不同方案的优缺点
4. 标注技术细节的版本要求
"""
}

def build_domain_rag_prompt(domain: str, context: str, question: str) -> str:
    """构建领域适配的RAG提示"""
    role_prompt = DOMAIN_PROMPTS.get(domain, DOMAIN_PROMPTS['engineering'])
    return f"""
{role_prompt}

【参考文档】
{context}

【用户问题】
{question}

请按照上述角色要求，基于参考文档回答问题。
回答：
"""
​

步骤5：幻觉抑制——RAG提示的安全网

幻觉是RAG系统的头号敌人。提示工程是抑制幻觉的第一道防线：

ANTI_HALLUCINATION_PROMPT = """
你是一个严格基于事实的知识库助手。

【参考文档】
{context}

【用户问题】
{question}

请按以下规则回答：
1. 忠实性检查：你的每一句事实性陈述都必须能在参考文档中找到依据
2. 边界声明：如果参考文档只包含部分相关信息，明确指出哪些内容有依据、哪些是推断
3. 拒绝回答：对于与参考文档完全无关的问题，直接回答"该问题不在当前知识库范围内"
4. 数字精确：引用文档中的数字时，必须与原文完全一致，不得四舍五入或近似

回答：
"""
​

第四条"数字精确"容易被忽视。LLM有一个坏习惯：把文档中的"约95%"改写成"接近100%"，或者把"2023年"模糊成"近年"。在技术文档和数据分析场景中，这种"善意"的近似会导致严重误导。

完整示例

端到端RAG提示管理系统

class RAGPromptManager:
    """RAG提示管理系统：统一管理提示模板的创建、版本和评估"""
    
    def __init__(self):
        self.templates = {
            'zero_shot': ZeroShotRAGPrompt(),
        }
        self.version_history: List[Dict] = []
    
    def build_prompt(self, strategy: str, context: str, question: str,
                     domain: str = None, few_shot_examples: List = None) -> str:
        """
        根据策略构建提示
        
        Args:
            strategy: zero_shot / few_shot / cot / anti_hallucination
            context: 检索到的上下文
            question: 用户问题
            domain: 可选的领域角色
            few_shot_examples: 少样本示例列表
        """
        if strategy == 'zero_shot':
            prompt = self.templates['zero_shot'].build(context, question)
        elif strategy == 'few_shot':
            prompt = self._build_few_shot(context, question, few_shot_examples or [])
        elif strategy == 'cot':
            prompt = COT_RAG_PROMPT.format(context=context, question=question)
        elif strategy == 'anti_hallucination':
            prompt = ANTI_HALLUCINATION_PROMPT.format(context=context, question=question)
        else:
            raise ValueError(f"不支持的策略: {strategy}")
        
        # 叠加领域角色
        if domain and domain in DOMAIN_PROMPTS:
            prompt = DOMAIN_PROMPTS[domain] + "\n\n" + prompt
        
        # 记录版本
        self._log_version(strategy, prompt, context, question)
        
        return prompt
    
    def _build_few_shot(self, context: str, question: str,
                        examples: List[Dict]) -> str:
        """构建少样本提示"""
        examples_text = ""
        for i, ex in enumerate(examples, 1):
            examples_text += f"""
【示例{i}】
参考文档：{ex['context']}
用户问题：{ex['question']}
参考回答：{ex['answer']}

"""
        
        return f"""你是一个知识库问答助手。请参考示例的风格回答问题。

{examples_text}
【参考文档】
{context}

【用户问题】
{question}

回答："""
    
    def _log_version(self, strategy: str, prompt: str, context: str, question: str):
        """记录提示版本"""
        self.version_history.append({
            'strategy': strategy,
            'prompt_hash': hash(prompt) % 10000,
            'context_length': len(context),
            'timestamp': time.time()
        })
​

常见问题 FAQ

Q1：RAG提示词中，"只根据上下文回答"这句话为什么经常失效？

A：这是RAG提示工程中最常见的问题。失效的原因通常有三个：一是约束不够具体，"只根据上下文"对模型来说是模糊指令，应该改为"你的每一句事实性陈述都必须能在参考文档中找到依据"；二是模型自身的指令遵循能力有限，小模型（7B以下）对复杂约束的遵循度明显低于大模型；三是上下文本身信息不足时，模型倾向于"善意补充"。解决方法是：使用更明确的约束措辞 + 在约束中加入"不知道时怎么说" + 选用指令遵循能力强的模型。

Q2：Few-Shot示例应该选什么样的？越多越好吗？

A：不是越多越好。研究表明2-3个高质量示例的效果通常优于5-10个普通示例。示例的选择标准：第一，与目标问题的类型匹配（事实查询的示例用来回答事实查询）；第二，展示你想要的输出风格和长度；第三，包含边界情况（比如"不知道"的回答示例）。每个示例占用约200-400 token，3个示例就是600-1200 token，这在上下文窗口中是不小的开销。

Q3：Chain-of-Thought提示在RAG中什么时候值得用？

A：CoT的价值在于"需要推理"的场景。如果问题是"X是什么"这类事实查询，零样本就够了，CoT反而增加延迟和成本。但当问题涉及"A方案和B方案哪个更适合场景C"这种需要比较和综合判断的问题时，CoT能让模型显式展示推理过程，显著减少错误。我的建议：默认用零样本或少样本，仅在问题明确需要多步推理时切换到CoT。

最佳实践与避坑

最佳实践

1. 约束条件要可执行：不要写"回答要准确"，写"引用文档中的具体数字或原文"
2. 先结论后分析：RAG回答的黄金顺序，提升用户阅读体验
3. 提示版本管理：每次修改提示模板都记录版本号和修改原因
4. A/B测试：用真实用户query对比不同提示策略的回答质量
5. 分层设计：系统提示（角色）+ 任务指令 + 上下文 + 约束，各层职责清晰

常见陷阱

• 约束冲突：同时要求"详细展开"和"简洁回答"，模型无所适从
• 示例泄露：Few-Shot示例中包含答案，模型直接复制而不是理解
• 过度约束：写了10条约束条件，模型反而忽略大部分，聚焦前3-5条效果最好
• 忽略模型差异：GPT-4和开源7B模型对同一提示的理解可能完全不同

本节小结

本节围绕RAG系统中的提示工程实践，从零样本到思维链递进讲解。核心收获：RAG提示工程的关键不是"写得花哨"，而是"约束精确"——告诉模型该做什么、依据什么、不能做什么，每个指令都要可执行、可验证。少样本提示的价值在于风格校准而非知识传递，思维链的价值在于复杂推理而非简单查询。下一节我们将探讨上下文管理，解决"检索到了一堆文档，怎么塞进有限的上下文窗口"这个更实际的问题。

延伸阅读

• 官方文档：LangChain提示模板文档 v0.3 版本（文字描述，不带链接）
• 相关论文：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（文字描述，不带链接）
• 相关章节：本教程5.1节LLM选择与配置、5.3节上下文管理（文字描述，不带链接）

关键词：RAG知识库实战, 提示工程, Prompt设计, Few-Shot, Chain-of-Thought, 幻觉抑制, 零样本提示
难度：进阶
预计阅读：25分钟