注意力可视化


文档摘要

源文件:chapter2/attentionvisualization/README.md 注意力可视化 一个交互式可视化工具,用于探索语言模型中的注意力机制。每次 Agent 运行都会生成一条独特的轨迹,可在前端查看与对比。 概览 本项目提供了一种交互方式,帮助理解语言模型在处理不同类型查询时如何分配注意力。Agent 每次运行都会生成一个新的轨迹文件,记录: 输入查询与模型响应 逐 token 的注意力权重 跨层、跨注意力头的注意力模式 注意力分布的统计分析 架构 系统采用简单的架构: Agent 生成轨迹:运行 或 生成新轨迹 JSON 存储:每条轨迹保存为 下的独立 JSON 文件 前端可视化:React 应用加载并通过标签页导航展示所有轨迹 快速开始(独立 CLI) 复现第 2


发布者: 作者: bojieli 转发
评论区 (0)
U