资源描述
LangSmith 是由 LangChain 团队打造的生产级 LLM 应用可观测性与开发平台。专为 AI Agent 与大模型工作流设计，提供全链路运行追踪、提示词在线调试、自动化性能评估、数据集管理及生产环境监控告警等核心能力。无论是原型迭代还是线上运维，LangSmith 都能帮助开发者快速定位瓶颈、优化 Prompt 质量并保障应用稳定性，是构建可靠 AI 应用的必备基础设施。
详细内容
## 框架简介与定位
LangSmith 是由 LangChain 团队推出的企业级 LLM 应用可观测性与开发运维平台。它定位于 AI 应用的全生命周期管理，从原型调试、测试评估到生产监控，提供统一的可视化工作流。通过深度集成 Agent 追踪（Tracing）技术，LangSmith 帮助开发者透视大模型调用的每一步细节，解决黑盒问题，加速高质量 AI 应用的落地。
## 核心特性
- **全链路运行追踪（Tracing）**：自动捕获 LLM、Tool、Retriever 及 Agent 的完整调用链，支持嵌套 Span 可视化与耗时分析，精准定位性能瓶颈与异常节点。
- **Prompt 管理与在线调试**：内置版本控制的 Prompt 仓库与交互式 Playground，支持多模型对比测试与参数调优，显著缩短迭代周期。
- **自动化评估与测试（Evaluation）**：提供基于规则、LLM-as-a-Judge 及自定义指标的评估框架，支持批量回放数据集，量化模型输出质量与一致性。
- **生产级监控与告警**：实时追踪 Token 消耗、延迟、错误率等核心指标，支持自定义阈值告警与日志导出，保障线上服务 SLA 与成本可控。
- **数据集管理与数据回放**：结构化存储输入输出样本，支持一键将线上真实流量转化为测试集，实现持续回归测试与模型微调数据准备。
## 适用场景
- 复杂 Agent 与多步工作流的调试与性能优化
- 企业级 RAG 系统的检索准确率与生成质量评估
- 提示词（Prompt）版本管理、A/B 测试与持续迭代
- 生产环境 LLM 应用的成本控制、异常监控与合规审计
## 快速入门步骤
1. **安装 SDK**：通过包管理器安装核心依赖 `pip install langsmith`（Node.js 用户可使用 `npm install langsmith`）。
2. **配置环境变量**：在 LangSmith 官网获取 API Key，并设置环境变量：
```bash
export LANGCHAIN_API_KEY="your_api_key"
export LANGCHAIN_TRACING_V2="true"
export LANGCHAIN_PROJECT="my-agent-project"
```
3. **最小示例思路**：在 Python 代码中初始化 Client 或直接结合 LangChain/LangGraph 使用。开启追踪后，所有 LLM 调用将自动上报至控制台。
```python
from langsmith import Client
client = Client()
# 结合 LangChain 使用时，设置环境变量即可自动捕获 Trace
# 也可手动记录：client.create_run(name="my_llm_call", run_type="llm", inputs={"prompt": "test"}, outputs={"response": "hi"})
```
运行代码后，登录 LangSmith 控制台即可在 Projects 中查看完整的调用树、耗时分布与输入输出详情。
## 生态与社区说明
LangSmith 与 LangChain、LangGraph 深度原生集成，同时提供独立的 Python/JS SDK，可无缝接入 LlamaIndex、Haystack 或自研大模型框架。平台支持 OpenTelemetry 标准导出，便于与企业现有 DevOps 监控栈（如 Datadog、Prometheus）打通。官方提供详尽的 API 文档、Cookbook 示例及活跃的 Discord 社区，定期举办开发者 Webinar。企业版支持私有化部署、SSO 单点登录与细粒度 RBAC 权限管理，满足金融、医疗等强合规行业的落地需求。