Colibrì · 第 2 章 safetensors 读取与量化容器

Colibrì · 第 2 章 safetensors 读取与量化容器

章节摘要:本章深潜 Colibrì 的数据读取层——怎么从磁盘读 safetensors 权重、怎么解析量化容器。st.h 实现 safetensors 索引与范围读取(只读需要的字节,不加载整个文件);quant.h 是规范容器解码器,支持 int4/int8/FP8-e4m3/MXFP4 多种量化格式,且多架构 SIMD(AVX2/AVX-512/ARM NEON/POWER VSX)。FORMATS.md 维护格式注册表(fmt 编号治理,TRUST-VERIFY-REFUSE)。还有 FSE/rANS 熵编码无损压缩。本章共 2 节,前置依赖为第 1 章。

深潜坐标

学习目标

1. 理解 st.h 的 safetensors 索引与范围读取。
2. 认识 quant.h 的多种量化格式(int4/int8/FP8/MXFP4)。
3. 理解多架构 SIMD(AVX2/AVX-512/NEON)。
4. 说清 FORMATS.md 格式注册表的 TRUST-VERIFY-REFUSE。
5. 了解 FSE/rANS 熵编码无损压缩。

子章节导航

01 st.h safetensors 索引与范围读取

safetensors 格式(JSON头+二进制体);st.h 索引解析;范围读取只读需要字节;shard 分片。

02 quant.h 量化容器与 FORMATS 注册表

int4/int8/FP8-e4m3/MXFP4 格式;多架构SIMD matmul内核;FORMATS.md fmt编号注册表治理(TRUST-VERIFY-REFUSE);FSE/rANS熵编码(cfse_pack/rans/fse_coli)。

前置知识与后续延伸

前置:第1章。后续:第3章深潜权重JIT核心——专家流式缓存。