Colibrì · 第 1 章 Colibrì 全貌与权重 JIT 哲学
文档摘要
Colibrì · 第 1 章 Colibrì 全貌与权重 JIT 哲学 章节摘要:本章是机制深潜的起点。Colibrì 是纯 C、零引擎依赖的 LLM 推理引擎,让 744B-2.8T 参数 MoE 模型在消费硬件运行。核心命题是"权重 JIT"——像编译器只编译热点代码一样,只加载热点专家。本章讲清这个命题的可行性(MoE 每 token 仅激活 5.4%)、纯 C 零依赖的架构选择、一个 .c 一个模型族的设计、以及 per-token 五步路径。本章共 3 节,无前置依赖。 深潜坐标 学习目标 说清 Colibrì 命题(744B-2.8T 在消费硬件)。 理解 5.4% 激活的稀疏性洞见。 理解纯 C 零依赖的架构选择。 认识一个 .c 一个模型族 + 共享头文件设计。
Colibrì · 第 1 章 Colibrì 全貌与权重 JIT 哲学
章节摘要:本章是机制深潜的起点。Colibrì 是纯 C、零引擎依赖的 LLM 推理引擎,让 744B-2.8T 参数 MoE 模型在消费硬件运行。核心命题是"权重 JIT"——像编译器只编译热点代码一样,只加载热点专家。本章讲清这个命题的可行性(MoE 每 token 仅激活 5.4%)、纯 C 零依赖的架构选择、一个 .c 一个模型族的设计、以及 per-token 五步路径。本章共 3 节,无前置依赖。
深潜坐标
学习目标
- 说清 Colibrì 命题(744B-2.8T 在消费硬件)。
- 理解 5.4% 激活的稀疏性洞见。
- 理解纯 C 零依赖的架构选择。
- 认识一个 .c 一个模型族 + 共享头文件设计。
- 复述 per-token 五步路径。
子章节导航
01 Colibrì 命题与 MoE 稀疏性洞见
744B MoE 每token激活40B/5.4%;稠密17B常驻RAM+19456专家放磁盘;权重JIT类比编译器JIT。
02 纯 C 零依赖与一个 .c 一个模型族
无BLAS/无Python运行时/无GPU必须;colibri.c(GLM)/deepseek_v4.c/inkling.c/kimi_k3.c/olmoe.c;共享头文件(st.h/quant.h/tok.h/expert_store.h)一改全改;repo layout。
03 per-token 五步路径与诚实研究风格
route→union→place→overlap→learn五步;放置只决定速度不改语义;每个优化都是可证伪假设需端到端A/B验证;开放假设表。
前置知识与后续延伸
前置:C语言基础;LLM基本概念。后续:第2章深潜第一个机制——safetensors读取与量化容器。