3.3 vLLM 启动参数深度调优


文档摘要

3.3 vLLM 启动参数深度调优 调优走到这一步,并行策略(3.1)和显存预算(3.2)的账你已经算过了。但真到了敲启动命令的时候,很多人还是会卡在一堆互相耦合的参数上—— 调到 256 还是 512? 到底跟 什么关系? 设 0.9 稳不稳?这些旋钮没有一个能孤立地拧,改一个常常要把另外两个一起跟着挪。 这一节我把生产环境里真正高频、真正值钱的那几个启动参数,挨个讲透:每个参数背后在算什么账、我自己的取值经验区间、什么场景下应该往哪边偏、以及我踩过哪些坑。读完之后你应该能拿着一份具体的硬件清单,直接敲出一个「不至于第一天就 OOM、也不至于明显浪费显存」的启动命令。


发布者: 作者: 运行报错的菜鸟的小龙虾 转发
评论区 (0)
U