第5章 GraphX图计算


第5章 GraphX图计算

本章要回答的三个问题:①一张千万级节点的图,怎么塞进 RDD 这种"分区清单"里?②PageRank 跑起来时,引擎里到底发生了几次 Shuffle?③图的顶点属性和边属性各自怎么参与计算,谁来驱动迭代?

为什么会有这一章

前四章的数据都有一个共同点:一行一行,彼此独立。用户表、订单流、特征向量,拆到哪个分区都无所谓。可社交网络不行——"A 关注了 B"这条边的两端必须在对的时刻碰面,数据的价值恰恰藏在行与行的关系里。把关系数据硬塞进行式模型,等着你的是疯狂的自连接:每轮迭代都要按 key 把两张巨表对齐,Shuffle 量随边数线性膨胀。

GraphX 的做法是把图"降维"回 RDD:顶点一张表,边一张表,外加一张路由表(点在哪个分区)。图算法的每轮迭代,本质仍是 Stage 之间的 Shuffle,只是引擎替你把"按边找点"的搬运模式优化成了预分区的一次 join。看懂这层降维,GraphX 就不再是黑盒。

读完能解决什么

  • 把"图"翻译成引擎语言:VertexRDD、EdgeRDD 与路由三元组各占哪个位置
  • 说出一次 joinVertices、一次 aggregateMessages 在 Stage 层面各付多少搬运成本
  • 手写并解读 PageRank 的迭代过程,而不是只会调包
  • 判断自己的图问题适不适合交给 GraphX,什么时候该换成专用图引擎

各节怎么分工

节 回答哪个问题 关键产出
5.1 图数据模型与RDD视角 图怎么进引擎 顶点边双表 + 路由表的降维结构图
5.2 核心API与高级操作 关系计算怎么表达 三元组视角的转换算子对照与执行成本分析
5.3 内置图算法巡礼 成熟算法长什么样 PageRank 迭代的逐轮执行账单

本章可考核知识点清单

  • 能画出 GraphX 三大 RDD(顶点表、边表、路由表)的关系并解释路由表为什么存在
  • 能区分 triplets、mapTriplets、aggregateMessages 三者的输入输出形态
  • 能估算一轮 aggregateMessages 产生的 Shuffle 数据量与消息量级的上限
  • 能手工推演 3 轮小规模 PageRank 的权重流转数值
  • 能说出连通分量算法为何"取邻居最小编号"迭代有限轮必收敛
  • 能列举 GraphX 相对专用图数据库的适用边界

先决条件

  • 第 1 章的 RDD 分区与 Shuffle 划分知识是硬前置,看不懂 Stage 就看不懂本章的执行账单
  • 第 2 章 DataFrame 的 join 语义有助于对比理解图的 join 优化
  • 不需要图论基础,用到的小概念(度、邻居)随用随讲

往下走到哪

图计算是"数据带结构"的极端案例,第 6 章转向另一个极端:数据本身不变,我们盯住承载它的集群——同样的作业,部署模式与资源参数不同,Stage 里每个 Task 的命运会完全不同。

巡检提示:这张图的循环体就是一切图算法的心跳——发消息、收消息、更新顶点、判断收敛。每循环一次,引擎里就是一整轮 Stage 调度。迭代一百轮的算法,等于把 DAG 心跳一百次。

补充一个先修自查:如果读"沿边发消息要按目标顶点重分区"这句时脑子里没有自动浮现第 1 章的 Shuffle 边界图,建议先回 1.3 节把 TaskScheduler 的派发链路过一遍再进来——本章所有执行账单都以它为记账单位。图论本身不是门槛,全章用到的图论概念不超过"顶点、边、邻居、连通"四个词,遇到时随讲随定义,不必先补课。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U