大模型/LLM推理和部署理论与实践

本文集文档发布于灏天文库

6.1VLLM

文档摘要

6.1 VLLM 硬件层级优化 计算层级优化 内存/显存与数据管理优化 并行化层级优化 拓展性与应用

发布者: 作者: 转发
评论区 (0)
U
0/500