Colibrì · 第 5 章 双 SSD 带宽翻倍与 I/O 重叠
文档摘要
Colibrì · 第 5 章 双 SSD 带宽翻倍与 I/O 重叠 章节摘要:本章深潜 Colibrì 的 I/O 工程——双 SSD 镜像模型带宽翻倍 + iouring 异步 I/O + 读写算重叠。解码在多数机器上是磁盘瓶颈,专家读取是只读的——所以如果有第二块 SSD,放一份完整模型副本,让引擎同时从两块盘流式读取。COLIMODELMIRROR 用确定性哈希按带宽比路由每个专家。启动校验 byte-identical(部分镜像也行),读取错误回退主盘。uring.h 实现 Linux iouring 异步 I/O(批量定位读+收割CQE无自旋)。ODIRECT 绕过页缓存。本章共 3 节,前置依赖为第 1-4 章。 深潜坐标 学习目标 理解双 SSD 镜像模型带宽翻倍。
Colibrì · 第 5 章 双 SSD 带宽翻倍与 I/O 重叠
章节摘要:本章深潜 Colibrì 的 I/O 工程——双 SSD 镜像模型带宽翻倍 + io_uring 异步 I/O + 读写算重叠。解码在多数机器上是磁盘瓶颈,专家读取是只读的——所以如果有第二块 SSD,放一份完整模型副本,让引擎同时从两块盘流式读取。COLI_MODEL_MIRROR 用确定性哈希按带宽比路由每个专家。启动校验 byte-identical(部分镜像也行),读取错误回退主盘。uring.h 实现 Linux io_uring 异步 I/O(批量定位读+收割CQE无自旋)。O_DIRECT 绕过页缓存。本章共 3 节,前置依赖为第 1-4 章。
深潜坐标
学习目标
- 理解双 SSD 镜像模型带宽翻倍。
- 说清确定性哈希按带宽比路由。
- 理解启动校验与错误回退。
- 读懂 uring.h 的 io_uring 异步 I/O。
- 理解 O_DIRECT 与读写算重叠。
子章节导航
01 双 SSD 镜像与确定性哈希路由
COLI_MODEL_MIRROR;确定性哈希按 COLI_DISK_WEIGHTS=9,3 带宽比路由;启动校验 per-file size+safetensors header byte-identical;部分镜像也行(divergent/missing 落主盘);读取错误回退主盘(一警告不崩);mirror 永不写(.coli_usage/.coli_kv 落主盘)。
02 uring.h io_uring 异步 I/O
Linux io_uring(setup/mmap SQ/CQ/SQEs/submit/reap CQE 无自旋);ColiUring 结构;__atomic load_acquire/store_release 内存序;批量专家联合读取(batched expert unions);为什么不用线程池(io_uring 更省)。
03 O_DIRECT 与读写算重叠
O_DIRECT 绕过页缓存(零拷贝);readahead/PILOT 预取;读写算重叠(overlap reads and compute);OMP 并行 pin/warmup 从两盘流式;I/O 是引擎的一部分(不假装存储延迟免费)。
前置知识与后续延伸
前置:第1-4章。后续:第6章深潜MoE路由与遥测。