本章要回答的三个问题:①迭代计算为什么偏偏是 Spark 引擎的舒适区?②特征工程与 Pipeline 在引擎里各自解决什么执行问题?③训练好的模型离开作业后如何长期存活?
机器学习在单机上跑不动,不是因为模型多复杂,而是因为每轮迭代都要重新扫一遍数据——单机磁盘扛不住,MapReduce 又每轮迭代付一次落盘税。Spark 引擎的血统加缓存机制恰好对症:数据钉进内存,迭代只是同一块缓存的反复消费。MLlib 就建在这块地基上,它把"特征处理、模型训练、预测"都翻译成 DataFrame 上的转换算子,让 Catalyst 与执行引擎替算法工程师扛分布式细节。巡检本章,看算法如何骑在引擎上跑。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 4.1 MLlib 与分布式学习 | 为什么引擎舒适区恰好是迭代 | 内存迭代与磁盘迭代的执行对比 |
| 4.2 核心算法库巡礼 | 什么数据用什么算法 | 四类算法的执行形态速查 |
| 4.3 特征工程 | 原始字段怎么变成特征向量 | Transformer 链的组装与验证 |
| 4.4 Pipeline 与模型持久化 | 流程怎么打包、模型怎么存活 | fit 与 transform 的执行语义拆解 |
本章的 Pipeline 概念会被第 5 章的图算法复用思路对照——结构化学习与图计算在"引擎上叠抽象"这件事上是同一套路。学完第 4、5 章,这台引擎的三大专用负载(SQL、迭代学习、图计算)就巡检完毕。
巡检提示:图里 B 和 E 都是 Transformer——"改 DataFrame 的东西"是 MLlib 里可拼接的统一零件。fit 只发生在训练时刻,transform 才是日常高频路径,两者的性能账要分开算。
提醒一点学习姿势:本章四节其实是同一个故事的四个镜头——特征铸形(4.3)、算法选型(4.2)、流程打包(4.4)、以及最底层的迭代执行账(4.1)。时间紧的话先读 4.1 建立"迭代为什么快"的直觉,再按业务需要跳读其余三节,顺序不影响理解;但 4.3 与 4.4 的衔接不能拆,特征链的定义与 Pipeline 的复放是一体两面,拆开学会在上线时摔在特征错位这类最贵的跟头上。