RocksDB

RocksDB 写放大审计志：一本带账本的存储引擎教程

摘要：这是一本以「成本审计」视角重讲 RocksDB 的教程。写放大、读放大、空间放大，是 LSM-Tree 存储引擎的三本内部账：每一次 Put 落盘、每一轮 Compaction 搬运、每一次 Get 穿层查找，都在这三本账上记账。本教程带你像审计师一样逐章盘点这些账目——先弄清代价从哪里产生，再弄清账目如何互相牵制，最后落到可执行的治理手段：参数怎么调、策略怎么选、指标怎么看。全书沿一条主线推进：一个键值对从写入到沉降、被读取、被清退的完整一生。

先拆一句行话

「写放大」这三个字，是整个 RocksDB 世界里最值钱的行话。它说的是一件反直觉的事：你往引擎里写了一百兆字节，磁盘可能实际落盘了三千兆。多出来的部分不是引擎在偷懒，而是它在用今天的搬运，换明天读取时的从容。理解了这一点，你就理解了 RocksDB 一半的设计——为什么写入快得反常，为什么后台永远有 Compaction 在干活，为什么内存里要养一个 MemTable、磁盘上要垫一层又一层的 SST 文件。另外两本账，「读放大」与「空间放大」，则是这笔交易的另外两个侧面：读取时可能要翻多少层文件才能找到答案，磁盘上同一份数据到底占了几份地方。三本账互相牵制，压下这一本，那两本往往就要抬头。整本教程讲的所有机制与参数，本质上都是在这三本账之间做仲裁。

把 RocksDB 放回它的生态位，这句话会更好懂。它不是一个数据库，不提供 SQL，也不监听端口；它是一个嵌在进程里的 C++ 库，负责把键值对可靠地放到本地磁盘上，并在崩溃之后一五一十地恢复。可偏偏是这个「不起眼」的库，成了 MySQL 的 MyRocks 引擎、TiDB 的 TiKV 节点、Flink 的状态后端、CockroachDB 的本地存储层共同的底座。学会读它的账本，等于拿到了半个现代分布式存储的通行证。

这本教程怎么读

全书十章，沿着一个键值对的一生推进，每一章都是这段旅程的一站。第 1 章交代出身：RocksDB 从 LevelDB 的理想模型里走出来，被 Facebook 的真实负载逼出了哪些工程决断，它在 LevelDB、WiredTiger、Badger、InnoDB 这些同类中站什么位置。第 2 章把引擎拆开看骨架：WAL、MemTable、SSTable 三大件如何分工，一次 Put 从 API 调用到 L0 落盘要走哪些关卡。第 3 章进入数据模型：InternalKey 的字节布局、Manifest 版本账本，以及 Column Family 的隔离实战。第 4 章走读写路径：写入流水线的时序、读取的多层裁决、序列号与快照撑起的并发控制。

第 5 章是全书的重头戏：Compaction。分层如何设计、Leveled 与 Universal 与 FIFO 三种策略各适合什么负载、子压缩与手动触发怎么用，最后落进一节完整的排错实录——从写停顿告警出发，把写放大这笔烂账逐步查清。第 6 章讲读取侧的减负：Block Cache 的层级治理、布隆过滤器与前缀布隆的取舍、迭代器范围扫描的实战细节。第 7 章处理事务与一致性：乐观与悲观两条路线、快照隔离的边界。第 8 章把散落的参数收拢成调优配方：db_bench 怎么跑、指标怎么读、不同工作负载配什么参数。第 9 章讲持久化与扩展：Checkpoint、灾难恢复、以及 Comparator、MergeOperator、加密压缩这些插桩点。第 10 章走向生产：MyRocks 与 TiKV 的集成方式、监控指标体系、最佳实践清单、版本演进与社区参与。

章节之间有明确的依赖：第 2、3、4 章是地基，不读它们，第 5 章的放大系数无从谈起；第 5、6 两章互为镜像，一个治写、一个治读；第 8 章的调优配方需要前六章的概念做词汇表；第 9、10 章相对独立，可以按需跳跃。

全册知识地图

下图给出十章的依赖关系与主线位置。纵向是学习顺序，横向标注了每一站主要审计的账目科目。

读完这本教程你能做什么

对照着列几个可检验的目标：能说清一次 Put 在 WAL、MemTable、SST 三层的完整时序，以及每一步各自买了什么保险；能根据工作负载在 Leveled、Universal、FIFO 三种 Compaction 策略之间做出有依据的选择，并估算各自的写放大量级；能在写停顿告警出现时，按一条固定的排查路径从指标定位到参数；能为多租户场景设计 Column Family 的划分与各自的独立配置；能用 db_bench 建立属于自己硬件的基准基线，让之后的每一次调参都有对照组。这些能力不需要你通读源码，但需要你跟着正文把每个案例的「背景、操作、结果、解读」走一遍。

书里的案例都来自可以复现的实验：一个命令行会话、一段配置、一组指标读数。建议边读边开一个测试实例，把每一笔账自己核一遍——审计这门手艺，从来不是看会的，是查会的。