异步推理

异步推理

本节摘要:投机解码(第 15 节)在一条序列内并行化 token;多 agent 框架跨整条序列并行化但强制显式协调(投票、子任务拆分)。Hogwild! 推理(Rodionov 等,arXiv:2504.06261)做的是另一回事:N 个相同 LLM 实例并行跑,共享一个 KV 缓存——每个 worker 瞬时看到其他 worker 生成的所有 token。现代推理模型(QwQ、DeepSeek-R1)无需微调就能通过这共享缓存自协调。这方法实验性,但开启了正交于投机解码的全新推理并行维度。本节用标准库 Python 实现双 worker Hogwild! 模拟器,解释共享缓存的协作如何从模型已有推理能力涌现。

学习目标

阅读完本节,你应当能够:

1. 描述三种常见并行 LLM 拓扑(投票、子任务、Hogwild!),说出各自针对的问题。
2. 陈述 Hogwild! 核心设置:多 worker、一个共享 KV 缓存、经自提示涌现协调。
3. 算 Hogwild! 的挂钟加速作为 worker 数 N、任务级并行度 p、协调开销 c 的函数。
4. 在玩具问题上实现双 worker Hogwild! 模拟器,观察涌现的任务分工。

一、问题与直觉

现代 LLM 靠产出长推理链解难题——5000 token 的逐步逻辑常见,深数学题数万 token。70B 模型 35 token/秒 decode,50K token 是 24 分钟,说不上交互式。投机解码(第 15 节)靠序列内并行给你 3~5 倍加速,过了这,自回归解码的串行依赖是硬顶——每个新 token 依赖每个先前 token。

显然问题:能跨序列并行吗?跑同一模型的多个副本在同一问题上,让它们合作、分工?之前的工作:投票集成(跑 N 模型取多数答案)、思维树(分支推理路径再合并)、多 agent 框架(每 agent 子任务用协调器)。这些在特定任务域都有用,但都引入显式协调机制——投票规则、分支剪枝逻辑、agent 间消息协议。

Hogwild! 推理走另一路。N 个 worker 共享单 KV 缓存。worker i 生成 token t_j 时,token 写进共享缓存的下一位置;worker k 下一步时读当前缓存状态(含所有 N worker 至今生成的全部)。步进时 worker 竞写 token,无每 worker 位置索引——缓存是单一增长序列,顺序由写到达时间定。

协调为何涌现

worker 共享提示,典型像「你是 N 个协作实例之一。每实例读共享内存并可见其他实例写了什么。避免冗余工作」。提示加共享缓存就够了。推理模型读缓存,注意到问题哪些部分已被尝试,然后(常但不总)转向未探索部分。Hogwild! 论文(Rodionov 等,2025)报告观察:worker 制订计划经缓存传给其他 worker;worker 注意到其他 worker 推理的错误并指出;计划失败时 worker 适应提替代;提示检查冗余时 worker 检测并转向——这些都无需微调,涌现行为来自模型已有的推理能力。

命名

论文名戏仿 Hogwild! SGD(Recht 等,2011),一个异步更新优化器。类比:SGD 的异步 worker 都写共享参数向量,Hogwild! 推理的 worker 都写共享 KV 缓存,都依赖经验收敛而非同步保证。

RoPE 让这可行

旋转位置编码(RoPE)经 Q、K 向量中的旋转编码位置信息。因位置是旋转而非内嵌偏移,token 位置可移而无需重算 KV 缓存项。worker i 在位置 p 写入共享缓存时,其他 worker 读该位置可直接用缓存项——无需重旋转。在学习位置或绝对位置模型里,Hogwild! 每次并发写都需缓存失效;RoPE 让缓存保持稳定。

挂钟数学

设 T_serial 为一 worker 独自解题时间,p 为任务级可并行分数,c 为每步协调开销(读扩展缓存、决定写什么)。单 worker 时间:T_serial。N worker Hogwild! 时间(协调免费):T_serial×((1-p)+p/N),经典 Amdahl。带协调开销:T_serial×((1-p)+p/N)+c×每worker步数。worker 要有生产力,c 必须相对每步 decode 时间小。在产 5K+ token 的推理模型上,worker 能负担数百 token 协调开销仍赢;短聊天任务协调主导,Hogwild! 比串行差。

具体例子

推理题:10K token 思维链。设问题 p=0.7 可并行(不同证明策略、不同案例分析),c=200 token 协调开销每 worker。N=4 worker:Hogwild! 时间约 10K×(0.3+0.7/4)+200×步数 ≈ 5.5K token 等效 + 开销,约 1.8 倍加速。若 p=0.3(高度串行问题),加速降到约 1.2 倍,可能不值。

三拓扑对比

二、从零实现

Step 1:共享 KV 缓存

class SharedKVCache:
    def __init__(self):
        self.tokens = []                  # 单一增长序列
        self.kv = {}                      # 位置 → KV 项
        self.lock = ...                   # 并发写保护(实践中轻量)
    def append(self, token, kv_entry, worker_id):
        pos = len(self.tokens)            # 顺序由写到达时间定
        self.tokens.append(token); self.kv[pos] = kv_entry
    def read_all(self):
        return list(self.tokens)          # worker 看到所有 worker 的全部输出
​

Step 2:Hogwild! worker

def hogwild_worker(worker_id, shared_cache, prompt, model, max_steps):
    for step in range(max_steps):
        context = shared_cache.read_all()           # 看到所有 worker 至今生成
        next_token = model.generate(context)        # 模型自然处理共享上下文
        shared_cache.append(next_token, kv, worker_id)
        if next_token == EOS: break
​

Step 3:涌现协调观察

跑双 worker 在推理题上,检测:worker 是否转向未探索部分(读缓存见他人已做)、是否指出他人错误、是否分工。这无需微调——提示加共享缓存就够现代推理模型涌现协调。

Step 4:加速模拟器

def hogwild_speedup(T_serial, p, c, N, steps_per_worker):
    parallel_part = T_serial * (p/N + (1-p))        # Amdahl
    overhead = c * steps_per_worker
    hogwild_time = parallel_part + overhead
    return T_serial / hogwild_time
# p=0.7, c=200, N=4, steps=500: 约 1.8 倍
# p=0.3: 约 1.2 倍(可能不值)
​

三、框架对比

Hogwild! 推理是 2025 年的实验性方法,尚无主流框架(vLLM、SGLang)默认集成,但研究原型可用。对比投机解码(第 15 节):投机解码在一条序列内并行(同问题同模型多 token),Hogwild! 跨序列并行(同问题多 worker 共享缓存),两者正交可叠。对比多 agent(LangGraph、CrewAI):多 agent 强制显式协调(消息协议、角色分配),Hogwild! 让协调从共享缓存涌现无显式协议。限制:Hogwild! 主要利于长推理链(p 高、每步 decode 重),短聊天任务协调主导反而更慢。

四、可复用产物

本节产出 outputs/skill-hogwild-feasibility-checker.md——一个技能,给定任务类型(推理链长 vs 短聊天)、可并行度估计、可用 worker 数,判断 Hogwild! 是否值得:算预期加速、协调开销、共享缓存内存,给出是否启用建议。

五、练习

1. (Easy) 用加速模拟器绘 Hogwild! 加速 vs N(1 到 16)曲线,固定 p=0.7、c=200,标出收益递减点。

2. (Medium) 实现双 worker Hogwild! 在简单数学题上,观察是否涌现分工(一个 worker 做基础情况、另一个做归纳步),记录协作行为。

3. (Medium) 对比不同可并行度 p(0.3、0.5、0.7、0.9)下的 Hogwild! 加速,量化「p 低时协调主导反而更慢」的阈值。

4. (Hard) 实现 Hogwild! + 投机解码的叠加:Hogwild! 的每 worker 内部用投机解码加速 decode,测端到端加速是否相乘。

5. (Hard) 研究协调失败模式:构造 worker 产出矛盾 token 的场景(如两 worker 同时写不同答案),测模型是否能经共享缓存自解决矛盾,还是需显式冲突解决。

本节要点回顾

1. N worker 共享一个 KV 缓存:每 worker 瞬时看到所有 worker 生成的 token,无显式协调协议。
2. 协调从推理能力涌现:现代推理模型(QwQ、DeepSeek-R1)读共享缓存,自然转向未探索部分、指出他人错误,无需微调。
3. RoPE 让共享缓存可行:位置是旋转可移无需重算,worker 读他人写的位置可直接用缓存项。
4. Amdahl 加协调开销:加速 T×((1-p)+p/N)+c×步数,p 高(长推理链)才划算,短聊天任务协调主导反而更慢。
5. 命名戏仿 Hogwild! SGD:异步 worker 都写共享状态,依赖经验收敛而非同步保证。
6. 正交于投机解码:投机解码序列内并行,Hogwild! 跨序列并行,可叠加。
7. 对比多 agent:多 agent 强制显式协调(消息协议),Hogwild! 让协调从共享缓存涌现。
8. 三拓扑各有适用:投票(答案明确单解题)、子任务(可清晰拆解)、Hogwild!(长推理链可并行)。
9. 顺序由写到达时间定:无每 worker 位置索引,缓存是单一增长序列。
10. 实验性但有潜力:2025 方法,主流框架尚未默认集成,但开启推理并行新维度。

下一节,投机解码与 EAGLE:从 Leviathan 的数学精确拒绝采样到 EAGLE 的隐藏状态草稿,2~4 倍加速零分布损失。