5.3 联邦学习与模型微调
5.3 联邦学习与模型微调
本节摘要：医疗、金融等场景的数据不能出域，传统微调直接没戏。联邦学习解决这个问题：数据不动，模型动——各机构在本地用自己数据微调，只上传模型更新，中央聚合后再下发。本节讲清联邦学习的流程、与微调的结合方式及适用场景。
学习目标
阅读完本节，你应当能够：
- 说出联邦学习的核心思想
- 复述联邦微调的完整流程
- 理解隐私保护的意义
- 认识联邦学习的挑战
- 判断场景是否适合联邦学习
一、问题与直觉
三家医院都想用"所有医院的数据"微调一个诊断模型——但数据涉及患者隐私，法律规定不能出医院。联邦学习的破局思路：把模型送到数据那里，而不是把数据送到模型这里。每家医院本地微调，只把"模型更新"（不含数据）传出去汇总。数据不动，学习照常。
二、核心原理
2.1 联邦学习流程
循环往复：下发模型 → 各机构本地训练 → 上传更新 → 聚合 → 再下发。数据始终在本地，只有模型参数在流动。
2.2 联邦学习保护什么
不共享：原始数据、患者信息、业务机密 只共享：模型更新（参数梯度）
即便只共享模型更新，也需防"梯度反推数据"——通过差分隐私、加密聚合等技术进一步加固。
三、工程实践要点
3.1 联邦微调 vs 传统微调
| 维度 | 传统微调 | 联邦微调 |
|---|---|---|
| 数据位置 | 集中 | 分散在各机构 |
| 隐私 | 需授权 | 数据不出域 |
| 协作 | 单一组织 | 多方协作 |
| 复杂度 | 低 | 高 |
3.2 适用场景判断
| 场景 | 适合联邦微调 |
|---|---|
| 医疗数据 | 适合（隐私要求高） |
| 金融风控 | 适合（机构数据隔离） |
| 手机输入法 | 适合（用户数据敏感） |
| 公开数据 | 不需要（集中即可） |
💡 关键直觉：联邦学习是为"数据不能集中"的场景准备的。数据能集中就不必联邦——别为了赶时髦给简单场景上复杂方案。
3.3 联邦微调的挑战
| 挑战 | 表现 | 应对 |
|---|---|---|
| 数据不均衡 | 各机构分布差异大 | 加权聚合 |
| 通信成本 | 反复传模型 | 减少轮次、压缩更新 |
| 非独立同分布 | 本地数据偏差 | 数据对齐、更稳健聚合 |
3.4 与 PEFT 的结合
联邦 + PEFT 是务实组合：本地微调用 LoRA（更新量小、通信省），只上传 LoRA 适配器——通信成本大降，隐私风险更低。联邦场景下 PEFT 不只是"省显存"，更是"省通信"。
⚠️ 常见坑：以为联邦学习"零隐私风险"。模型更新仍可能被反推出数据信息——联邦学习降低风险不等于消除风险，敏感场景还要叠加差分隐私与加密聚合。
3.5 联邦微调的通信与隐私权衡
联邦学习的核心约束是通信与隐私。每轮训练，客户端把模型更新（或 LoRA 更新）上传服务器，服务器聚合后下发——通信量与参数规模成正比，这是联邦微调选 LoRA 的另一个理由：只传输小矩阵的更新，通信开销降一个数量级。隐私层面，联邦学习并非绝对安全：梯度更新仍可能泄露训练数据信息，工程上常用差分隐私（在更新里加噪声）与安全聚合（加密后再聚合）来加固。
联邦一轮：客户端本地训练 → 上传更新 → 服务器聚合 → 下发新参数 成本大头：通信量（选 LoRA 可大幅降低）与隐私加固（差分隐私/安全聚合）
落地时还有一个现实问题：客户端数据分布不均（有的客户端数据多、有的少、有的类别缺失），简单加权平均会让模型偏向数据多的客户端。缓解手段包括按数据量加权、对参与轮次做采样控制，以及引入个性化层（客户端各自保留一层本地参数）。联邦微调目前更多见于医疗、金融等数据不出域的场景，是"合规优先"时的微调选项。
核心回顾
- 要点一：联邦学习 = 数据不动、模型动
- 要点二：流程——下发、本地训练、上传更新、聚合
- 要点三：保护的是原始数据，只共享模型更新
- 要点四：适用"数据不能集中"的场景，别为时髦而用
- 要点五：三大挑战——数据不均衡、通信成本、非独立同分布
- 要点六：联邦 + PEFT 组合省通信、降风险
联邦学习让数据"更安全"，下一节让流程"更自动"——AutoML 与自动模型微调。