Colibrì · 第 3 章 专家流式缓存与 LRU
文档摘要
Colibrì · 第 3 章 专家流式缓存与 LRU 章节摘要:本章深潜 Colibrì 的权重 JIT 核心——专家流式缓存(expertstore.h)。19456 个路由专家各约 19MB,放磁盘 370GB,按需流式加载。expertstore.h 定义了 ColiExpertStore 抽象(lease 租约契约:lookup/release/prefetch/stats/destroy),ColiExpertStoreOps 虚函数表。每层 LRU 缓存,前置一层前瞻预取(prefetch advisory),学习的固定热存(pinned hot-store)。.coliusage 记录工作负载,引擎越用越快。本章共 3 节,前置依赖为第 1-2 章。
Colibrì · 第 3 章 专家流式缓存与 LRU
章节摘要:本章深潜 Colibrì 的权重 JIT 核心——专家流式缓存(expert_store.h)。19456 个路由专家各约 19MB,放磁盘 ~370GB,按需流式加载。expert_store.h 定义了 ColiExpertStore 抽象(lease 租约契约:lookup/release/prefetch/stats/destroy),ColiExpertStoreOps 虚函数表。每层 LRU 缓存,前置一层前瞻预取(prefetch advisory),学习的固定热存(pinned hot-store)。.coli_usage 记录工作负载,引擎越用越快。本章共 3 节,前置依赖为第 1-2 章。
深潜坐标
学习目标
- 理解 ColiExpertStore 抽象与 lease 租约契约。
- 说清 ColiExpertStoreOps 虚函数表(lookup/release/prefetch)。
- 理解每层 LRU 缓存命中/未命中。
- 理解一层前瞻预取(prefetch advisory)。
- 理解学习的固定热存与 .coli_usage。
子章节导航
01 ColiExpertStore 抽象与 lease 租约契约
ColiExpertKey(layer,expert);ColiExpertView(gate/down/up/lease);lease契约(lookup后必须release一次,不可copy,destroy需零活跃lease);ColiExpertStoreOps虚函数表;线程安全约定。
02 LRU 缓存与一层前瞻预取
每层LRU缓存;命中直接用lease/未命中从磁盘加载;prefetch一层前瞻(advisory不持lease不驱逐活跃slot);预取命中率统计(prefetch_hits);expert_store_stats(requests/hits/misses/prefetched/bytes_read)。
03 学习的固定热存与工作负载记录
.coli_usage每turn更新;记录哪些专家被路由到;pinned hot-store自动钉最热专家;越用越快;路由结构可缓存;诚实假设(历史可能过拟合)。
前置知识与后续延伸
前置:第1-2章。后续:第4章深潜多层级存储放置。