第5课-流式部署

文档摘要

我们希望做一个流式输出的后端，然后让前端去捕获这个流式输出，并且在聊天界面中流式输出。首先构造流式输出引擎。然后生成responsestream，这个responsestream里面有一个生成器，叫做responsegen。我们可以像列表一样去迭代这个生成器，然后取出生成的文本。这样我们就可以在Jupyter的界面看到流式输出了。我们也可以做一个后端，可以用FastAPI来做。这是一个新的python web框架，性能很强悍。我们先来安装一下这个框架：在Jupyter的格子中输入以下内容。框架都很小，很快就安装好。下面我们来改造一下，用fastapi做成http接口。