TUIARolloutViewerforMulti-turnRL
文档摘要
TUI: A Rollout Viewer for Multi-turn RL 感谢小红书的朋友们的贡献，我们开发了一套名为 TUI 的可视化工具。具体来说，我们实现了 ，它是一个基于 Textual 的交互式 JSONL 数据浏览工具，可以将 Rollout log 文件，在终端中以富文本形式展示，并支持分页、搜索、字段过滤等操作。 acknowledge：rui yang（小红书），chengxi li（CMU），Huapeng Zhou（UW），Chenyang Zhao（Amazon） 依赖环境 配置 需要在配置中设置 rollout data（存储目录），比如： 注意，目前 TUI 不支持 agent loop，因为开启 以启动 Agent Loop 后，request id
TUI: A Rollout Viewer for Multi-turn RL
感谢小红书的朋友们的贡献，我们开发了一套名为 TUI 的可视化工具。具体来说，我们实现了 rollout_viewer.py，它是一个基于 Textual 的交互式 JSONL 数据浏览工具，可以将 Rollout log 文件，在终端中以富文本形式展示，并支持分页、搜索、字段过滤等操作。
acknowledge：rui yang（小红书），chengxi li（CMU），Huapeng Zhou（UW），Chenyang Zhao（Amazon）
依赖环境
pip install typer==0.16.0 pip install ujson==5.10.0 pip install textual==0.52.1 pip install aiofiles==24.1.0
配置
需要在配置中设置 rollout data（存储目录），比如：
trainer.rollout_data_dir=$HOME/data/gsm8k/rollout_data
注意，目前 TUI 不支持 agent loop，因为开启 actor_rollout_ref.rollout.mode=async 以启动 Agent Loop 后，request id 会无法获得。这会在后续版本解决。
运行方式
# python scripts/rollout_viewer.py <JSONL_directory_path> python scripts/rollout_viewer.py ./data/rollouts
程序会异步加载该目录下所有后缀为 .jsonl 的文件。
数据格式要求
- 程序默认每个
*.jsonl文件代表一个 step，文件名需要可以被int转换（例如0.jsonl,1.jsonl…）。 - 文件内容为标准 JSON Lines，每一行对应一个 sample。
- 加载时会为每个 sample 自动添加字段
__IDX，表示其在当前文件中的行号。
数据 example 可以参考这里。
Example
- Select an exact step and sample, works well:
- Select a right request_id to search, works well:
