1.2.5 指标 (Metrics)

文档摘要

1.2.5 指标 (Metrics) 1.2.5 指标 (Metrics) 在 DSPy 中，指标 (Metrics) 是评估和指导优化过程的关键组成部分。它们提供了一种量化的方式来衡量 DSPy 模块的性能，并根据这些指标调整模块的行为，以达到期望的目标。指标在 DSPy 的编译和优化循环中扮演着至关重要的角色。为什么需要指标？在构建基于 LM 的复杂系统时，仅仅依靠直觉或人工评估是不够的。指标提供了一种客观、可重复的方式来评估系统的性能，并指导系统的优化。具体来说，指标可以帮助我们：量化性能：将模糊的“好”或“坏”转化为具体的数值。指导优化：提供优化方向，例如，调整提示词、选择不同的 LM 等。比较不同方法：比较不同的 DSPy 模块、提示词策略或 LM 的性能。