心智理论与涌现协调

心智理论与涌现协调

本节摘要:Li 等(arXiv:2310.10701)显示,合作文字游戏里的 LLM Agent 表现出涌现的高阶心智理论(Theory of Mind, ToM)——推理另一个 Agent 对第三个 Agent 信念的信念——但因上下文管理与幻觉在长程规划上失败。Riedl(arXiv:2510.05174)在人群规模上测量高阶协同,发现只有 ToM 提示条件产生身份关联分化与目标导向互补;低容量 LLM 只表现出虚假涌现。也就是说,协调涌现是提示条件性的、依赖模型的,不是免费的。 本节实现一个最小的 ToM 感知 Agent,在有无 ToM 提示下各跑一个合作任务,并按 Riedl 2025 协议测量协调差值。

学习目标

阅读完本节,你应当能够:

1. 说明零阶、一阶、二阶心智理论(ToM)的区别,并把它映射到 LLM Agent 的信念建模。
2. 复述 Riedl 2025 的三个测量指标(身份关联分化、目标导向互补、高阶协同)及其「只有 ToM 提示才出信号」的结论。
3. 识别「协调错觉」的三种来源(提示烘焙的协调、观察者偏差、事后挑选成功轮次),并说明生产中如何用对照条件排除。
4. 实现一个最小的 ToM 感知 Agent(自有信念 + 逐他者信念模型),并测量一阶 ToM 相对零阶的协调增益。
5. 列出 ToM 在生产中失守的三处(对抗场景、异构团队、依赖真值的任务),并据此判断何时不该上 ToM。

一、问题与直觉

多智能体协调常看起来很神奇:Agent 分工、彼此预判、避免冗余。通常这种「涌现」是提示工程的产物——有人告诉 Agent「去协调」。去掉提示,协调就没了。

Riedl 2025 的发现更严格:在受控条件下,协调只有在 Agent 被提示去推理他人的心智(ToM)时才涌现。没有 ToM 提示,即便是强模型,其协调模式也经不住统计控制。这对生产很要紧:团队上线了「多智能体协调」功能,其实是提示依赖且脆弱的。

本节把 ToM 当作一种具体能力(推理关于信念的信念),搭一个最小的 ToM 感知 Agent,并测量真正的协调长什么样、提示装扮的协调又长什么样。

ToM 是什么意思

发展心理学:3 岁孩子以为任何人的内心世界都和自己一样;5 岁孩子明白他人有不同信念;7 岁孩子能推理「关于信念的信念」(「她以为我以为球在杯子下面」)。这就是零阶、一阶、二阶 ToM。

对 LLM Agent,ToM 阶次映射为:

• 零阶:不建模他人,只凭自己观察行动。
• 一阶:对每个他人 Agent 的信念有模型。「Alice 相信 X。」
• 二阶:建模递归信念。「Alice 相信 Bob 相信 X。」

Li 等 2023 发现一阶与二阶 ToM 在合作游戏中涌现,但随时间视野拉长与通信不可靠而退化。

Sally-Anne 测试,简述

1985 的错误信念测试:Sally 把弹珠放进篮子 A,离开;Anne 把它移到篮子 B。Sally 回来时会去哪找?有一阶 ToM 的孩子说篮子 A(Sally 的信念与现实不同);没有的说篮子 B。

GPT-4 时代的 LLM 在直白表述下能过 Sally-Anne 式测试。当叙述变长、场景多次变化、或问题被间接表述时,它们就失败。这就是 2026 生产 LLM 的 ToM 现状。

Riedl 的协调测量

Riedl(arXiv:2510.05174)搭了一个人群规模测试:N 个 Agent、一个合作目标、可变的提示条件。测量:

1. 身份关联分化。 Agent 是否随时间发展出稳定的角色区分?
2. 目标导向互补。 Agent 的行动是否互补(不同子任务)而非重复?
3. 高阶协同。 群体是否达成任何子集都达不到的效果的统计量。

结果:只有 ToM 提示条件下,三个指标都产出高于基线的信号。没有 ToM 提示,中等容量模型的指标在随机附近徘徊。大模型不带显式 ToM 提示也有一点协调,但效果比带显式提示小。

协调错觉

没有统计控制时,演示中的「涌现协调」常反映:

• 提示工程把协调烘焙进去(系统提示说「一起协作」)。
• 观察者偏差(我们看到自己期望的模式)。
• 事后挑选成功的轮次。

把没有可测信号的「涌现协调」当营销对待。先测量,再宣称。

⚠️ 这是「协调难点在建模」的集中体现——「协调」不是 Agent 数量多了就免费出现的属性,而是需要显式建模他人心智才稳定产出的能力。凡是宣称「涌现协调」却不给对照条件与统计检验的系统,都应视作营销。

一个最小的 ToM 感知 Agent

结构:

agent state:
  own_beliefs:    {Agent 相信的事实}
  other_models:   {other_agent_id -> {Agent 归因给他们的信念}}
  actions_last_N: [他人行动的历史]

观察更新:
  - 从直接观察更新 own_beliefs
  - 从他人行动 + 先前信念更新 other_models[agent_id]

行动选择:
  - 枚举候选行动
  - 对每个,预测每个他者在其建模信念下下一步会做什么
  - 选在那些预测下最大化联合结果的行动
​

other_models 属性就是 ToM 状态。一阶 ToM 只保留一层;二阶加上 other_models[i][other_models_of_j]——我认为 Agent i 认为 Agent j 相信什么。

为何长程有害

Li 等记录:上下文限制使 Agent 忘记哪条信念属于谁;幻觉给他者模型加入错误信念。两者都产生「我以为他以为 X」的错误,并随时间复合。

论文与 2024~2026 后续记录的缓解:

• 提示里放显式 ToM 状态。 结构化格式 {agent_id: belief_list},强制检索保留身份-信念绑定。
• 更短的推理链。 每轮更少的 ToM 更新,降低复合幻觉。
• 外部 ToM 存储。 把模型维护在 LLM 上下文之外,每轮只注入相关部分。

ToM 在生产中失守处

• 对抗场景。 ToM 好的 Agent 更易被操纵(你能建模它对你的建模,再利用)。
• 异构团队。 模型不同时,对一个对手有效的 ToM 模型不 generalize。
• 依赖真值的任务。 ToM 关于信念;若正确性取决于事实,ToM 可能是干扰。

你能真正测量的协调

一个团队的协调是真实的而非提示装扮的,有三个实用信号:

1. 随时间的互补性。 多轮任务中,Agent 的行动是否覆盖不相交的子任务?
2. 预判。 Agent A 在 T+1 轮的行动,是否依赖于一个关于 B 在 T+2 行动的预测,且该预测事后正确?
3. 纠错。 当 A 在 T 轮误读 B 的信念,是否在 T+2 轮前纠正?

这些在已记录的多智能体系统里是可测的。它们是「协调」叙事的实质版本。

二、从零实现

code/main.py 实现:

• ToMAgent——追踪自有信念与逐他者信念模型。
• 一个合作任务:三个 Agent 要从三个盒子里取三个 token,每个盒子只能装一个 token;Agent 不能通信,只能从彼此行动推断意图。
• 两种配置:zeroth_order(无 ToM)与 first_order(带一层信念模型的 ToM)。
• 在 200 次随机试验上测量:完成率、重复率(两个 Agent 抢同一个盒子)、平均完成轮数。

一阶 ToM 的行动选择

def choose_action(self, state):
    best, best_score = None, -1
    for action in candidate_actions(state):
        # 预测每个他者在「我建模的他们的信念」下会做什么
        peer_preds = {pid: predict(peer_model[pid], state) for pid in peers}
        # 选在预测下最大化联合结果(避免与他人撞同一盒子)
        score = joint_outcome(action, peer_preds, state)
        if score > best_score:
            best, best_score = action, score
    return best
​

设计要点:peer_model[pid] 是承重的那一层——零阶 Agent 没有 it,只能凭自己观察盲选,重复率约 35%;一阶 Agent 靠预测他者意图,把重复率压到约 5%。把这一层删掉,协调增益立刻消失——这正是 Riedl「ToM 提示是承重条件」的微缩复现。

运行 python3 code/main.py,期望输出:零阶 Agent 约 35% 重复率、约 60% 试验在 10 轮内完成;一阶 ToM Agent 约 5% 重复率、约 95% 完成。这个差值就是可测的协调效应。

三、框架对比

💡 心法:ToM 不是「越多阶越好」。 二阶以上幻觉复合快、上下文膨胀猛,多数生产场景一阶够用。真正决定协调真假的不是阶次,而是有没有 ToM 这一层 + 有没有对照测量。

四、可复用产物

outputs/skill-tom-auditor.md:一个 skill,审计多智能体系统「涌现协调」的宣称——检查提示装扮、对照条件的统计显著性、测得的互补性。

五、练习

1. 跑基线:运行 code/main.py,确认一阶 ToM 把重复率降约 7 倍。扩到 5 个 Agent、5 个盒子,差距还在吗?
2. 实现二阶 ToM:Agent A 建模 B 对 C 的想法。它比一阶好吗?在哪些任务上?
3. 注入幻觉:每轮随机翻转一条信念。这对一阶性能有多大打击?
4. 读 Li 等:读 arXiv:2310.10701,复现「长程退化」——轮数从 10 涨到 30,一阶 ToM 性能如何变?
5. 读 Riedl 2025:读 arXiv:2510.05174,在你的仿真日志上实现高阶协同统计。没有 ToM 提示条件时,效应还在吗?

本节要点回顾

1. ToM 是具体能力:推理关于信念的信念,分零阶/一阶/二阶,不是「多了就免费」的属性。
2. Riedl 2025 三指标:身份关联分化、目标导向互补、高阶协同——只有 ToM 提示条件才出信号。
3. 协调错觉三来源:提示烘焙的协调、观察者偏差、事后挑选成功轮次——宣称前先测量。
4. 一阶 ToM 的承重层:other_models 属性;删掉它,协调增益消失。
5. 长程有害:上下文限制让 Agent 忘记信念归属,幻觉复合「我以为他以为」的错误。
6. 三条缓解:提示里放显式 ToM 状态、缩短推理链、外部 ToM 存储。
7. ToM 失守三处:对抗场景(好 ToM 更易被利用)、异构团队、依赖真值的任务。
8. 可测的协调三信号:随时间互补、预判正确、及时纠错——比「看起来协调」更实质。

下一节,我们换一个视角看「集群」——把生物启发的 PSO 与 ACO 用到 LLM 上:LMPSO 把粒子速度变成提示,AMRO-S 用信息素给多智能体路由,看经典算法为何在 LLM 时代重新焕发。