5.4 分布式XGBoost与大规模训练

5.4 分布式XGBoost与大规模训练

分布式 XGBoost 用全连接拓扑上的 Rabit 通信做归约与同步，数据按行切到各 worker，每轮分裂统计在各机本地算好再全局归约。 本节讲清"哪些步骤天然可并行、哪些必须通信"，用单机多线程与外存模式覆盖"够不着分布式"的场景，给出规模与方案的对号表。

第 2.5 节把单机优化讲完，本节把镜头拉远。两个知识点：分布式训练的通信结构、在"上分布式之前"可用的单机手段。

一、并行到底发生在哪

回顾第 2.5 节：树与树因残差依赖必须串行（第 t 棵要等第 t−1 棵的 g、h），所以分布式并行发生在两个更小的粒度上——特征维度（同一节点的各特征增益统计互不依赖）与样本维度（数据按行分布在多机，各机算局部 G、H 汇总）。分布式 XGBoost 的通信几乎全部服务于后者：每轮候选分裂的 (G, H) 局部统计需要全局归约。它采用 Rabit（Reliable Allreduce and Broadcast Interface Toolkit）在 workers 全连接拓扑上做 allreduce 与广播，相比 MapReduce 类系统"每轮落盘再汇总"的粗粒度方案，通信量小得多。

一轮分裂的分布式流程（文字时序）:
1. 各 worker 用本地数据算每个候选分裂的局部 G 与 H
2. Rabit allreduce：所有候选的局部统计全局求和
3. 各 worker 用相同的全局统计选出最优分裂点（结果天然一致）
4. 按分裂点划分本地样本，进入下一层
5. 树完成，各 worker 本地更新 g 与 h，进入下一棵树
​

注意第 3 步：每个 worker 拿到的全局统计相同、增益公式相同，选出的分裂天然一致——靠数据对齐而非参数服务器发号施令保证了一致性。这也是为什么分布式 XGBoost 的结果与单机（同参数）几乎一致，可复现性没有被规模破坏。

二、什么时候真的需要分布式

分布式不是"数据大"的同义词，先过这张对号表：

# 单机外存模式：数据大于内存时的续命开关
import numpy as np
import xgboost as xgb

rng = np.random.default_rng(5)
# 演示用小数据，实际场景为上亿行
X_demo = rng.normal(size=(100_000, 20))
y_demo = (X_demo[:, 0] + rng.normal(0, 1, 100_000) > 0).astype(int)
dtrain = xgb.DMatrix(X_demo, label=y_demo)
params = {'objective': 'binary:logistic', 'tree_method': 'approx',
          'max_depth': 6, 'eta': 0.1}
bst = xgb.train(params, dtrain, num_boost_round=30)
print("外存/单机训练完成, 共", len(bst.get_dump()), "棵树")
# 运行输出: 外存/单机训练完成, 共 30 棵树
​

各平台的分布式入口形态不同（Spark 生态里以框架库形式调用、独立集群走其原生接口），但底层都是同一套 Rabit 协议与同一份模型格式——在单机上调好的参数，迁移到集群时通常只需关注两点：每 worker 的样本量变少后 min_child_weight 的语义随之变化（它约束的是叶内 H 和，数据切薄后同参数等效于收紧），以及随机种子的并行设定避免各机采样完全相同。

从单机到分布式的升级路径

规模升级路径：三段式选择

⚠️ 常见坑：数据量刚过内存一点就急着上集群。分布式引入运维、通信、调试三重成本，而单机外存模式往往已经够用；先把 hist 与列采样这类"免费加速"用满，再谈多机。

本节要点回顾

• 树间串行不可破（残差依赖），并行在特征维度与样本维度
• 分布式每轮只需归约候选分裂的 G、H 统计，Rabit 全连接 allreduce 通信量小
• 各机统计一致 ⇒ 分裂选择天然一致，分布式结果与单机几乎无差
• 升级三段路：单机 hist → 外存模式 → 分布式；min_child_weight 语义随分片收紧
• 分布式成本高，先用满免费加速再考虑多机

武器库到此装满：算法、参数、流程、难题处理。下一节把 XGBoost 与随机森林、LightGBM、神经网络放在同一张桌上，回答"什么时候不该用它"。

常见问答

分布式训练的结果和单机完全一样吗

理论上同参数同数据下应一致（分裂由全局统计决定），但两个细节会造成微小差异：数据分片方式影响浮点求和顺序，并行采样时各 worker 的随机种子需要错开设置。生产上通常以"指标差异小于单次切分的标准差"为可接受线，而不是苛求逐位一致。

怎么判断自己的数据"内存装不下"

粗算特征矩阵体积：行数乘列数乘 8 字节（float64），两亿单元格约 1.6 GB，再加上 DMatrix 内部排序副本通常翻倍。经验值是矩阵超过可用内存的三分之一就要考虑外存模式，超过内存总量且仍要快速迭代，才值得评估分布式。

GPU 一定比多核 CPU 快吗

在直方树方法下，GPU 对中小数据（百万行以内）优势有限，甚至可能因数据搬运开销更慢；千万行以上、特征数百维时加速比才稳定拉开。先在单机 CPU 用 hist 跑通基线，再决定是否引入 GPU，是更稳妥的路径。