本章要回答的三个问题:①一张千万级节点的图,怎么塞进 RDD 这种"分区清单"里?②PageRank 跑起来时,引擎里到底发生了几次 Shuffle?③图的顶点属性和边属性各自怎么参与计算,谁来驱动迭代?
前四章的数据都有一个共同点:一行一行,彼此独立。用户表、订单流、特征向量,拆到哪个分区都无所谓。可社交网络不行——"A 关注了 B"这条边的两端必须在对的时刻碰面,数据的价值恰恰藏在行与行的关系里。把关系数据硬塞进行式模型,等着你的是疯狂的自连接:每轮迭代都要按 key 把两张巨表对齐,Shuffle 量随边数线性膨胀。
GraphX 的做法是把图"降维"回 RDD:顶点一张表,边一张表,外加一张路由表(点在哪个分区)。图算法的每轮迭代,本质仍是 Stage 之间的 Shuffle,只是引擎替你把"按边找点"的搬运模式优化成了预分区的一次 join。看懂这层降维,GraphX 就不再是黑盒。
| 节 | 回答哪个问题 | 关键产出 |
|---|---|---|
| 5.1 图数据模型与RDD视角 | 图怎么进引擎 | 顶点边双表 + 路由表的降维结构图 |
| 5.2 核心API与高级操作 | 关系计算怎么表达 | 三元组视角的转换算子对照与执行成本分析 |
| 5.3 内置图算法巡礼 | 成熟算法长什么样 | PageRank 迭代的逐轮执行账单 |
图计算是"数据带结构"的极端案例,第 6 章转向另一个极端:数据本身不变,我们盯住承载它的集群——同样的作业,部署模式与资源参数不同,Stage 里每个 Task 的命运会完全不同。
巡检提示:这张图的循环体就是一切图算法的心跳——发消息、收消息、更新顶点、判断收敛。每循环一次,引擎里就是一整轮 Stage 调度。迭代一百轮的算法,等于把 DAG 心跳一百次。
补充一个先修自查:如果读"沿边发消息要按目标顶点重分区"这句时脑子里没有自动浮现第 1 章的 Shuffle 边界图,建议先回 1.3 节把 TaskScheduler 的派发链路过一遍再进来——本章所有执行账单都以它为记账单位。图论本身不是门槛,全章用到的图论概念不超过"顶点、边、邻居、连通"四个词,遇到时随讲随定义,不必先补课。