思考预算功能实现


文档摘要

思考预算功能实现 概述 本文档描述了为LEANN实现的思考预算功能,该功能允许用户控制像GPT-Oss:20b这样的推理模型的计算开销。 功能描述 思考预算功能为推理模型提供了三种不同级别的计算开销: :快速响应,基础推理(适用于简单查询的默认设置) :速度与推理深度的平衡 :最大推理开销,最适合复杂分析问题 实现细节 命令行界面 在CLI和RAG示例中均添加了 参数: LLM后端支持 Ollama后端( ) API格式:使用Ollama的 parameter with and fields. OpenAI Backend ( API格式:使用OpenAI的 parameter for o-series models.


发布者: 作者: 转发
评论区 (0)
U