Colibrì · 第 6 章 MoE 路由与遥测

Colibrì · 第 6 章 MoE 路由与遥测

章节摘要:本章深潜 Colibrì 的路由遥测(route_trace.h)——engine-agnostic,所有引擎发同样的字节。.coli_usage 记录专家历史(文本格式 " ",负层号头记录维度和引擎身份,向后兼容)。ROUTE_TRACE 流每(moe调用,batch行)一行。路由结构可缓存(expert atlas 专家热图),这是整个权重 JIT 的可行性基础。本章讲清路由遥测的格式设计、向后兼容技巧、以及学习型缓存越用越快的机制。本章共 2 节,前置依赖为第 1-5 章。

深潜坐标

学习目标

1. 理解 route_trace.h 的 engine-agnostic 设计。
2. 读懂 .coli_usage 格式(负层号头+向后兼容)。
3. 理解向后兼容技巧(fscanf l>=0 守卫)。
4. 理解 expert atlas 专家热图与结构可缓存。
5. 说清学习型缓存越用越快的机制。

子章节导航

01 route_trace.h engine-agnostic 遥测设计

为什么独立头文件(telemetry.h绑GLM类型,kimi/olmoe不能include);依赖仅C库+compat.h(Windows rename→MoveFileEx);.coli_usage格式(文本稀疏);负层号头记录(-1维度/-2版本+engine_id哈希);向后兼容(fscanf l>=0守卫丢弃头记录);engine_id必须第三字段(%u避免INT_MAX UB);legacy/IKU1旧格式读取。

02 ROUTE_TRACE 流与学习型缓存

ROUTE_TRACE=每(moe调用,batch行)一行":...";tools/route_pairs.py消费;.coli_usage每turn更新驱动PIN=auto;expert atlas专家热图(structure is cacheable);学习型缓存越用越快;诚实假设(路由历史可能过拟合held-out A/B)。

前置知识与后续延伸

前置:第1-5章。后续:第7章深潜量化与压缩状态。