多轮推理与快速分词(GSM8K)


文档摘要

多轮推理与快速分词(GSM8K) 本示例演示如何在基于SGLang的多轮推理中使用快速分词。 如何使用 前置条件 从 fast tokenization 分支安装 veRL 步骤 1:下载 GSM8K 数据集 这将下载并预处理 GSM8K 数据集到 。 步骤 2:验证 Qwen2.5-3B 的多轮推理 如果你有 8 块 GPU 使用标准的 8-GPU 脚本: 如果你只有 4 块 GPU 使用备用的 4-GPU 脚本: 步骤 3:验证 Qwen3-4B 的多轮推理 该脚本使用 8 张 GPU:


发布者: 作者: 转发
评论区 (0)
U