资源描述
LiteLLM Proxy Server 是一款开源、轻量级的 LLM 统一 API 网关，兼容 OpenAI、Anthropic、Google Gemini、Cohere 等主流模型提供商接口。支持密钥路由、多模型负载均衡、细粒度速率限制、token 消耗监控与审计日志，适用于企业级 AI 服务中台、SaaS 应用后端集成及开发团队快速构建可控 LLM 接入层。
详细内容
## LiteLLM Proxy Server：统一 LLM API 网关
### 工具定位与核心价值
LiteLLM Proxy Server 是 LiteLLM 生态中的生产就绪型反向代理服务，旨在为开发者和运维团队提供一个安全、可观测、可扩展的 LLM 流量调度中枢。它屏蔽底层模型供应商差异，将异构 LLM API（如 `openai.ChatCompletion`, `anthropic.messages`, `gemini.generateContent`）统一抽象为标准 OpenAI 兼容接口，大幅降低集成复杂度；同时通过中间件能力实现企业级治理——包括租户隔离、成本管控、合规审计与故障熔断。
### 主要功能列表
- ✅ **多厂商统一接口**：自动适配 OpenAI v1、Anthropic v1、Google Vertex AI / Gemini、Cohere、Mistral、Ollama、Azure OpenAI 等 100+ 模型后端
- ✅ **密钥路由与模型路由**：基于请求 Header（如 `x-api-key`）或路径前缀动态分发至对应供应商/模型/实例
- ✅ **企业级访问控制**：支持 JWT 认证、API Key 白名单、IP 限流、按用户/团队/应用维度的速率限制（RPM/TPM）
- ✅ **实时监控与可观测性**：内置 Prometheus metrics（`litellm_request_total`, `litellm_tokens_used`）、结构化 JSON 日志、Slack/Webhook 告警
- ✅ **高可用部署支持**：原生适配 Docker Compose、Kubernetes（含 Helm Chart）、Cloud Run，支持 Redis 缓存与分布式锁
- ✅ **低成本增强能力**：自动重试、超时熔断、fallback 模型降级、响应缓存（基于 `cache=redis`）、Token 使用量精准统计（含 prompt/completion 分项）
### 典型使用场景
- **SaaS 平台后端**：为多租户客户提供统一 `/v1/chat/completions` 入口，按客户绑定不同 LLM 供应商密钥与配额
- **AI 中台建设**：作为内部 AI Service Mesh 的核心网关，统一纳管模型调用、计费、审计与 SLA 追踪
- **开发环境沙箱**：本地一键启动代理（`litellm --model gpt-4o --api-key sk-...`），快速验证多模型行为一致性
- **合规与安全加固**：拦截敏感 prompt、记录完整请求/响应（可选脱敏）、强制启用审计日志留存
### 上手步骤与操作要点
1. **快速启动（Docker）**：
```bash
docker run -p 4000:4000 -e "LITELLM_PROXY_CONFIG=/app/config.yaml" \
-v $(pwd)/config.yaml:/app/config.yaml \
ghcr.io/berriai/litellm:latest
```
2. **配置关键项（`config.yaml` 示例）**：
```yaml
model_list:
- model_name: gpt-3.5-turbo
litellm_params:
model: "gpt-3.5-turbo"
api_key: "sk-xxx"
api_base: "https://api.openai.com/v1"
- model_name: claude-3-haiku
litellm_params:
model: "claude-3-haiku-20240307"
api_key: "sk-ant-xxx"
general_settings:
rate_limit_params:
rpm: 60
tpm: 100000
```
3. **生产建议**：
- 启用 Redis 存储 token 使用量与限流状态（`--redis-url redis://...`）
- 配置 TLS 终止（Nginx 或 Cloud Load Balancer）
- 通过 `--health_check_interval 30` 启用模型健康探针
- 使用 `litellm --test` 验证配置有效性
> 官方文档：[https://litellm.ai](https://litellm.ai)｜GitHub：[https://github.com/BerriAI/litellm](https://github.com/BerriAI/litellm)