第4章 MLlib机器学习


第4章 MLlib 机器学习

本章要回答的三个问题:①迭代计算为什么偏偏是 Spark 引擎的舒适区?②特征工程与 Pipeline 在引擎里各自解决什么执行问题?③训练好的模型离开作业后如何长期存活?

为什么会有这一章

机器学习在单机上跑不动,不是因为模型多复杂,而是因为每轮迭代都要重新扫一遍数据——单机磁盘扛不住,MapReduce 又每轮迭代付一次落盘税。Spark 引擎的血统加缓存机制恰好对症:数据钉进内存,迭代只是同一块缓存的反复消费。MLlib 就建在这块地基上,它把"特征处理、模型训练、预测"都翻译成 DataFrame 上的转换算子,让 Catalyst 与执行引擎替算法工程师扛分布式细节。巡检本章,看算法如何骑在引擎上跑。

读完能解决什么

  • 解释缓存对迭代收敛速度的决定性影响,并用指标验证
  • 按数据形态选算法:线性模型、树集成、聚类、协同过滤各就各位
  • 用 Pipeline 组装可整体保存与复放的训练流程
  • 让模型脱离作业存活:持久化、加载、在线预估的工程闭环

各节怎么分工

节 回答哪个问题 关键产出
4.1 MLlib 与分布式学习 为什么引擎舒适区恰好是迭代 内存迭代与磁盘迭代的执行对比
4.2 核心算法库巡礼 什么数据用什么算法 四类算法的执行形态速查
4.3 特征工程 原始字段怎么变成特征向量 Transformer 链的组装与验证
4.4 Pipeline 与模型持久化 流程怎么打包、模型怎么存活 fit 与 transform 的执行语义拆解

先决条件

  • 第 2 章 DataFrame 基础(MLlib 新版 API 全面 DataFrame 化)
  • 对"训练集、验证集、过拟合"等机器学习常识有基本认识
  • 不要求深厚数学底子,各算法只保留理解执行行为所必需的直觉推导即可跟上

本章可考核知识点清单

  • 能解释缓存对迭代收敛速度的决定机制并说出验证指标
  • 能对比四类算法负载的每轮 Shuffle 形态与并行主体
  • 能区分有状态 Estimator 与无状态 Transformer 的执行差异
  • 能手工推演一条特征链在 fit 与 transform 两个阶段的 Stage 差异
  • 能说出 Pipeline 整体持久化相比逐件保存的复放一致性优势
  • 能描述模型离线训练到在线预估的完整数据流转路径

往下走到哪

本章的 Pipeline 概念会被第 5 章的图算法复用思路对照——结构化学习与图计算在"引擎上叠抽象"这件事上是同一套路。学完第 4、5 章,这台引擎的三大专用负载(SQL、迭代学习、图计算)就巡检完毕。

巡检提示:图里 B 和 E 都是 Transformer——"改 DataFrame 的东西"是 MLlib 里可拼接的统一零件。fit 只发生在训练时刻,transform 才是日常高频路径,两者的性能账要分开算。

提醒一点学习姿势:本章四节其实是同一个故事的四个镜头——特征铸形(4.3)、算法选型(4.2)、流程打包(4.4)、以及最底层的迭代执行账(4.1)。时间紧的话先读 4.1 建立"迭代为什么快"的直觉,再按业务需要跳读其余三节,顺序不影响理解;但 4.3 与 4.4 的衔接不能拆,特征链的定义与 Pipeline 的复放是一体两面,拆开学会在上线时摔在特征错位这类最贵的跟头上。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U