批处理与并行

文档摘要

title: '批处理与并行：Map-Reduce、并行处理' description: 'Map-Reduce 批处理（BatchNode）和并行处理 8x 加速（AsyncParallelBatchNode）的实战案例。' 批处理与并行 Map-Reduce 批处理 6.1 架构 Map-Reduce：映射分块 → 批处理 → 规约总结 Map-Reduce（映射-规约）是最常见的批处理模式 —— 把一批数据"映射"（拆开分别处理），再"规约"（合并结果）。 6.2 核心思路 BatchNode 的核心约定：返回一个列表，框架自动对列表中的每个元素调用，最后把所有结果收集为列表传给。你只需要写"处理单个元素"的逻辑，批量调度由框架完成。 6.