2.2.2.1 按需计算机制

文档摘要

2.2.2.1 按需计算机制 2.2.2.1 按需计算机制：当不执行、不过滤、却触发全量 IO —— 一次生产环境内存雪崩的复盘与根治凌晨两点十七分，告警钉钉弹窗炸开：这不是演习。这是我们在迁移一个金融风控规则引擎至 Scala + Spark Streaming 的第三周——一个本该“轻量、惰性、可控”的流式计算模块，却在凌晨三点把整个实时决策链路拖进熔断深渊。而罪魁祸首，就藏在一行看似无害的代码里：它被调用在每条支付事件的实时校验路径中。逻辑清晰：只取前10个高风险账户做快速比对。可现实是——每次调用，都会发起全表扫描；和虽未显式执行，却在触发时，强制求值全部中间节点，直至第10个满足条件的元素出现；而由于 HBase 表中高风险账户实际占比不足 0.