第三章:DSPy 编程实践 第三章:DSPy 编程实践 3.1 数据准备:构建高质量数据集 DSPy 应用的性能高度依赖于训练数据的质量。数据准备是至关重要的第一步。 数据收集: 收集与目标任务相关的多样化数据。考虑使用公开数据集、网络爬取、用户反馈等多种来源。 数据清洗: 清理噪声数据,例如重复项、不完整记录、错误格式等。 数据标注: 标注数据以提供 LM 学习的监督信号。这可能包括分类标签、实体标注、关系抽取等。 数据划分: 将数据集划分为训练集、验证集和测试集。训练集用于训练 LM,验证集用于调整超参数,测试集用于评估最终性能。 示例:问答数据集准备 假设我们要构建一个基于 DSPy 的问答系统。我们需要一个包含问题和对应答案的数据集。 3.