WalkThroughSGLangVLLMWorker
文档摘要
Walk Through SGLang / VLLM Worker English Version 为了实现 SGLang 支持 OpenRLHF 的接口，我们需要在 SGLang 中接入这两个接口： OpenRLHF 的 VLLM Worker Wrap 类继承并包装了 vllm 的 类，实现了 和 方法，这两个接口当然不麻烦，但是我们可以借一步来捋清楚 SGLang 和 VLLM 的相关代码模块，也作为 SGLang code walk through 的一部分。因此，本文先从 vllm 的 开始引入代码，然后对 SGLang 进行简单的 code walk through。 这里放一张 SGLang 的镇楼，此图出自 slides/lmsys1stmeetupsglang.
评论区
(0)
U