8.5 实时大屏任务全程复盘：从需求到值稳大促

8.5 实时大屏任务全程复盘：从需求到生产

本节摘要：这是全册的合龙站：一个电商实时大屏任务（分钟级成交统计加热卖榜）从需求评审、技术选型、开发联调、上线演练，到大促值守、事后对账的完整复盘。每个阶段的决策都回溯到对应章节的原理，读完你应能拿着这份模板独立主导下一次交付。

一、需求评审：口径谈判比写代码重要

任务起点不是代码，是一句业务描述："大屏要看到此刻的成交。"评审会上把它拆成三个必须谈死的口径。第一，时间口径：按支付完成时刻（事件时间）统计——运营明确要求"能补单、能对账"，第 3.1 节的判断口诀直接落锤。第二，延迟口径：大屏数字可以接受多大延迟？业务方起初说"实时"，追问后确认为一分钟可见即可——这个数字后来成为水位线容忍与检查点间隔的全部预算（3.2 节的定价公式：窗口一分钟加容忍三十秒，天然延迟约一分半，达标）。第三，正确口径：允许短暂偏差但必须最终一致，允许迟到十分钟内修正——对应 3.3 节的三级安置链。三个口径写进需求文档，这是后来所有技术决策的宪法。

二、技术方案：五个部件与三条决策

全景架构一图流：业务库变更经 CDC 进消息队列，Flink SQL 作业加工后写入 OLAP 引擎，大屏轮询 OLAP 呈现。

图 8-5 大屏任务全景：五个部件与语义承诺

三条决策各自的出处值得复述一遍，因为它们就是前七章的考场应用。SQL 起手：需求全是窗口聚合与 topN（5.2 的两段代码几乎原样可用），没有任何需要进程函数兜底的语义——DataStream 的控制权在这里买不着值得的东西。事件时间组合参数：容忍三十秒来自流量延迟分布的分位值（覆盖百分之九十九的到达延迟），允许迟到十分钟来自业务方的修正容忍——都是谈判来的，不是抄来的。幂等而非事务 Sink：大屏读侧可接受修正跳变（3.4 实验乙见过的现象），不必为事务 Sink 的可见性延迟买单。

三、开发与联调：沙盒先行

开发的第一个动作不是写作业，是把 3.4 节的窗口沙盒拖出来重跑一遍——用生产抽样的一千条乱序数据验证容忍三十秒下修正机制的触发节奏，联调时大屏的每次"数字跳变"都对得上实验预期，业务方看懂了跳变是修正不是故障，省掉了上线后一半的答疑工单。联调期间抓到两个问题：热度榜的 topN 忘了在分区键里带窗口时间片（5.2 的状态虚胖隐患，看执行计划时发现）；目标端主键最初设计成订单号（导致退款改状态时 upsert 覆盖成单行，改成"窗口加商户"复合主键后才符合口径）。

四、上线演练：四件套过检

上线走 8.4 的门禁加 6 章的四件套演练。扩容演练：副本从六个拉到十二个，反压水位平稳，缩回无状态丢失。HA 演练：杀主 JobManager，接管用时九十秒，全作业自动恢复，恢复耗时构成与 6.2 的五段账吻合。告警链路演练：人为制造一次 checkpoint 失败，告警三分钟内到达值班群且文案绑定了处置文档。反压急救演练：压测工具模拟峰值两倍流量，按 6.4 的四步链定位到演练注入的慢点并完成降级操作。四件套的演练记录贴进值班室——上线评审会上的全部问题，演练记录里都有答案。

五、大促值守：一次实战急救

大促零点，实战比演练来得更快。峰值开始后监控告警：主链路反压持续。按 6.4 的程序处置——反压视图显示窗口子任务忙闲分化（倾斜脸型），火焰图定位到某 Map 里的外部特征查询高峰劣化。两个止血动作按预案执行：特征查询加本地缓存（命中率九成二），降级开关拉下（非关键品类跳过 enrich）。四分钟后反压退红，十分钟内检查点复绿，大屏全程未停更——业务方事后评价"看不出出过事"，这是对值班工程师最高的表扬。节后根治：特征查询改异步算子、热键按 8.3 的加盐方案打散归并，下一个大促预案里新增"外部服务压测"检查项。

六、事后对账：数字的最终审判

大促结束的第二天，对账会议。口径三要素全部到场：业务库为真源、OLAP 主键行为准、十分钟修正窗口为限。结果：主口径差异万分之二，全部落在十分钟修正窗口内的迟到补录（3.3 的允许迟到机制工作正常）；侧输出流捕获的彻底迟到数据共十一笔，单笔金额核对后按补偿流程回补（7.2 与 3.3 的兜底闭环）。这次对账没有出现"差一大截查一宿"的戏剧场面——因为从口径谈判那天起，每一笔"可能差"的去处都已被设计好了。对账的从容，是前面所有章节约会的利息。

七、变式：把模板带去下一个任务

这份复盘的可迁移价值在骨架而不在细节。换到实时风控任务：口径谈判改为"拦截延迟与误报容忍"，技术方案里 SQL 换成 CEP 或进程函数（5.3、5.1），值守预案里的急救重点从倾斜换成规则引擎的外部依赖。换到实时特征任务：状态调优升级为主角（8.2 的 TTL 与配比是大状态作业的命门），演练清单加上"状态迁移演练"。骨架不变的五段是：口径谈判、原理选型、沙盒联调、演练过检、对账闭环——流程是复利，案例只是利息的一次兑现。

💡 关键直觉：全册八章在这一个任务里各就各位——时间语义定口径，API 选表达，状态与容错保正确，运维保存活，生态保端到端，调优保峰值。所谓"学透了"，就是拿到新任务时，这八个章节会自动排队报到。

交给下一任的交接文档

复盘的最后一页是交接。把整个任务沉淀成一册"大屏作业手册"，目录七页：口径页——三个口径的谈判结论与变准逻辑，新接手的人读完就能回答业务方对数字的一切追问；架构页——五部件图加语义承诺链，标注每条链的弱一跳；操作页——启停、扩缩容、升级、回滚的标准命令序列，每条注明前置条件；告警页——每条告警对应的处置章节链接（本册的 4.4 与 6.4 被直接引用）；演练页——四件套演练的最近一次记录与结论；对账页——对账 SQL 与历史差异率曲线；预案页——大促冻结纪律、降级开关清单、值班通讯树。七页手册写完大约一个工作日，但它把"个人经验"固化成了"组织资产"。

这册手册还有一个隐藏读者：半年后的你自己。值班室的规律是，靠记忆的事故处置半年后必然失真，靠文档的处置流程十年后依然可靠。写手册不是给别人看的姿态，是给未来的自己留的逃生通道——这也是全册反复出现的"把预案写在事发之前"的最后一次落实。

本节要点

• 交付的第一战场是口径谈判：时间口径、延迟口径、正确口径谈死在需求文档里，技术决策才有宪法。
• 技术方案五部件（业务库、CDC、Flink SQL、OLAP、大屏）与三条决策（SQL 起手、事件时间参数、幂等 Sink）全部有章节出处。
• 沙盒先行是联调纪律：窗口触发与修正节奏先用真实抽样数据演一遍，上线后一半的答疑工单就此消失。
• 四件套演练（扩容、HA、告警链路、反压急救）是上线评审的底气来源，值守预案里没有未经演练的动作。
• 对账从容的前提是"每一笔可能差都有去处"：修正窗口、侧输出兜底、补偿流程，设计时就该闭环。
• 骨架可迁移：口径谈判、原理选型、沙盒联调、演练过检、对账闭环——换场景只换零件，不换流程。

全册至此收官。合上书，下一次深夜告警响起时，愿你翻开的是自己的预案，而不是这本书的目录。