smolagents · 第 7 章 多模型后端

smolagents · 第 7 章 多模型后端

章节摘要:本章是装备区第四站——多模型后端(models.py 2102 行,smolagents 最大的单文件)。Model 基类定义统一接口(generate/generate_stream),10 个实现类覆盖本地与云端:TransformersModel(本地 transformers)、vLLMModel(高吞吐推理)、MLXModel(Apple 芯片)、InferenceClientModel(HF Inference)、LiteLLMModel(100+ 云模型一个接口)、OpenAIModel/AzureOpenAIModel、AmazonBedrockModel、LiteLLMRouterModel。统一接口下还有流式 delta 聚合、工具 JSON schema 自动生成、ChatMessage 封装。换模型=换一个类,agent 代码零改动。本章共 2 节,前置依赖为第 1-6 章。

阶梯坐标

学习目标

1. 精读 Model 基类统一接口。
2. 认识 10 个 Model 类与适用场景。
3. 理解流式 delta 聚合。
4. 理解工具 JSON schema 生成。
5. 掌握模型选型(本地/云/成本)。

子章节导航

01 Model 基类与 10 个实现

Model基类(generate/generate_stream统一接口);ChatMessage封装(role/content/tool_calls);10个Model类总览(TransformersModel本地/vLLMModel高吞吐/MLXModel Apple芯片/InferenceClientModel HF/LiteLLMModel 100+云模型/OpenAIModel/AzureOpenAIModel/AmazonBedrockModel/LiteLLMRouterModel路由);换模型=换类零改动agent;using_different_models示例。

02 流式聚合与工具schema生成

流式输出(generate_stream);delta聚合(流式chunk拼成完整消息);工具JSON schema自动生成(把Tool的inputs转成各provider格式);token统计(TokenUsage);monitoring.py(AgentLogger rich美化日志/遥测OpenTelemetry/Phoenix);模型错误重试(RateLimiter/Retrying)。

前置知识与后续延伸

前置:第1-6章。后续:第8章多智能体(攀顶)。