2.5.3 自定义指标的创建与使用

文档摘要

2.5.3 自定义指标的创建与使用 2.5.3 自定义指标的创建与使用为什么需要自定义指标？任务特定性：内置指标可能无法捕捉到特定任务的关键方面。例如，对于代码生成任务，代码的正确性和效率可能比文本相似性更重要。细粒度评估：自定义指标允许我们评估 LM 在特定子任务或特定类型输入上的表现。业务逻辑：某些指标可能与特定的业务逻辑或规则相关，无法通过通用指标来衡量。定制化反馈：自定义指标可以为 LM 提供更具针对性的反馈，帮助优化其性能。 2.5.3.1 创建自定义指标在 DSPy 中，创建自定义指标主要涉及以下几个步骤：定义评估函数：这是自定义指标的核心。评估函数接收模型的预测结果和真实标签（ground truth）作为输入，并返回一个数值评分。