SGLangScheduler技术变迁

文档摘要

SGLang Scheduler 技术变迁 English version | 简体中文关于作者：我是刘芷溢，电子科技大学计算机本硕研二(27 毕业)，目前在找推理加速方向的实习，欢迎联系我！tomlzy213@gmail.com 最开始的 Scheduler 中 CPU 和 GPU 是串行的，导致 GPU 的大量空闲后面的 Scheduler 允许 CPU 和 GPU overlap，实现了 zero overhead scheduler Scheduler 整体的工作流程如下图所示：[^code-walk] 我们将结合代码分析一下整个 Scheduler 的流程。