tracing & session replay
Agent 一次任务跑 20 步,最后报错"测试失败"。你打开日志——只有一行 stack trace,根本不知道是第几步的哪个工具调用埋下的雷。这是没 tracing 的常态。
好的 tracing 至少记四样东西,每步都记:
有了这四样,bug 复盘从"猜哪步坏了"变成"回放看哪步坏了"。trace 是 Agent 的黑匣子,不是可选的日志。
下面是一次 Agent 任务的 trace。点任意一步,看它的输入、输出、工具调用、耗时——这就是会话回放的样子。
trace 记下来之后,会话回放是把它"播放"出来:按时间顺序逐步展示,可以前进/后退/跳转,必要时把某一步的输入重新喂给模型,看会不会复现同样的错。
三个让回放真正可用的关键设计: