使用Triton和TensorRT部署StableDiffusion模型

文档摘要

使用Triton和TensorRT部署Stable Diffusion模型本示例演示了如何通过利用 TensorRT pipeline 和 utilities，将Stable Diffusion模型部署到Triton中。以TensorRT演示为基础，本示例包含一个可重用的基于Python的后端，适用于部署多个版本和配置的Diffusion模型，如果不支持 CUDA，应该也可以使用CPU推理，但是本节提供的脚本是使用了GPU的。环境要求以下指令需要在安装了 Docker 的 Linux 系统中进行。若要支持 CUDA，请确保您的 CUDA 驱动程序符合 pytorch 的官方要求。在开始一切之前，请确保您的 docker 服务已正常开启。 [!