第6章 谢幕：实战推演

第 6 章 · 谢幕：实战推演

章节摘要：机制讲尽，大幕将落。本章是整部三幕剧的谢幕演出——不再引入新机关，而是把前五章的分片、缓冲、Shuffle、分区、排序、容错全部推上同一个舞台，解三道真实计算题：WordCount 的全程手工复算，Join 与 TopN 两大经典模式，以及一份拿来即用的调优清单。读完本章，你应当能独立把一道业务题翻译成 MapReduce 作业，并在它跑慢时知道拧哪个旋钮。

为什么要有谢幕章

前五章的讲法是解剖式的：每一幕单独照亮，看清齿轮。但真实工程里没有单独旋转的齿轮——一个作业提交上去，分片决定 Map 数，Map 输出形态决定 Combiner 能不能用，键的设计决定分区均衡与排序语义，Reduce 数又反过来决定输出文件数。这些决策彼此咬合，只有在完整算题里才能看清咬合的方式。谢幕章的使命就是提供三面完整的舞台。

第一面舞台是 WordCount。它是"Hello World"，但值得用非 Hello World 的方式对待：我们会用一份十来行的输入，把两个 Map 任务、一个 Reduce 任务、每个中间键值对在六步 Shuffle 里的每一次搬运全部手推一遍。推完你会发现，这个"最简单"的例子已经用上了第一幕的切分、第二幕的类型与缓冲、第三幕的分区归并——它是全册知识的最小全息切片。

第二面舞台是经典模式。业务问题千变万化，落到 MapReduce 上却反复出现几类骨架：等值连接（reduce 侧 Join）、顶部筛选（TopN 的树形归并）、以及它们的组合。模式的价值在于把"想清楚"的成本摊薄：识别出问题是哪种骨架，键怎么设计、分区器要不要换、Combiner 放不放，答案就都有标准形了。

第三面舞台是调优。跑得慢的作业各有各的慢法，但诊断路径是收敛的：先看计数器定位瓶颈在哪一段，再对号入座拧参数。本章把散落在前面各节的旋钮收拢成一份按"Combiner、倾斜、小文件、内存、推测执行"分组的清单，并标注每组的前置判断条件——调优清单的意义不是背参数，而是让每个参数的拧动都有一个可观测的验证数字。

学习目标

阅读完本章，你应当能够：

1. 给定小输入与分片边界，手工推演每条记录在三幕中的完整旅程并算出最终输出；
2. 判断一道业务题是否可套用 Join 或 TopN 骨架，并写出键与值的设计草案；
3. 用加盐两阶段聚合破解高频键倾斜，并解释第二阶段如何还原聚合正确性；
4. 面对一个慢作业，按计数器证据走完一条不超过三步的诊断路径；
5. 说出哪些场景应当放弃 MapReduce 范式而不是继续调优。

本章三节导读

第 1 节 WordCount 全程推演：以一份小小输入做全息切片，六个键值对陪你走完全部机关，附可在本机复现的命令与输出。

第 2 节 Join 与 TopN 经典模式：reduce 侧连接的键设计与倾斜伏笔、树形 TopN 的两级归并、二级排序在模式中的位置，配完整可运行骨架代码。

第 3 节调优清单与实战手法：按瓶颈类型分组的旋钮表、加盐打散与两阶段聚合的完整推演、小文件与压缩的组合拳、以及"何时收手换引擎"的判断线。

图 6-1 谢幕章在全册中的位置

谢幕不引入新机关，只让所有机关同台亮相。带着前五章的任何疑问进本章都合适——三道算题会替你把疑问逐一演明白。

子章节导航

• 6.1 WordCount 全程推演
• 6.2 Join 与 TopN 经典模式
• 6.3 调优清单与实战手法