3.1 具身基础模型与 VLA

3.1 具身基础模型与 VLA

本节摘要：大模型在语言和视觉上很强，但直接用来控制机器人不行——它不懂动作。视觉-语言-动作模型（Vision-Language-Action，VLA）就是为了补上“动作”这一环而出现的具身基础模型。本节讲 VLA 的架构（同时吃图像、语言、输出动作）、它怎么继承大模型的理解能力、以及训练它需要什么数据。VLA 是让机器人理解开放指令、泛化到新场景的关键方向。

本节导读

阅读完本节，你应当能够：

1. 说清基础模型思想怎么从语言迁移到具身智能
2. 理解 VLA 模型的输入输出和架构
3. 解释 VLA 为什么能泛化到没见过的指令和物体
4. 说清训练 VLA 需要什么数据、难点在哪
5. 理解 VLA 在具身智能里的定位和局限

一、问题与直觉

传统机器人控制是“一个任务一个模型”——训一个模型专门抓杯子，再训一个专门开门，再训一个专门倒水。每加一个任务，就要重新采集数据、训练模型。任务一多，维护一堆专用模型，成本高、不灵活，而且每个模型只能做训练过的那件事，稍微变变（换种杯子、换个开法）就不会了。

这跟大模型在语言领域的经验形成鲜明对比。一个大语言模型，训练时没专门学过“写赞美诗”或“解释量子力学”，但因为在海量文本上学了语言的通用规律，它能泛化到这些没专门训练过的任务上。这就是基础模型（Foundation Model）的思想——训一个通用模型当起点，下游任务微调或提示就能用。

具身智能的研究者就想：能不能也有一个“具身基础模型”，在海量机器人数据上训练，学会机器人的通用表征和能力，下游各种机器人任务都能复用？VLA 模型就是这个方向的产物——它把视觉、语言、动作统一成一个模型处理，试图成为机器人的通用大脑。

二、核心原理

2.1 基础模型思想的迁移

基础模型的核心思想是“通用表征当起点”。在语言领域，BERT、GPT 这些模型在海量文本上预训练，学会了语言的通用表征，下游任务（分类、问答、翻译）只要微调或提示就能用，不用从零训练。

这个思想迁移到具身智能，就是：在一个大规模、多样化的机器人数据集上预训练，让模型学会“机器人操作”的通用规律（怎么抓、怎么移动、怎么根据指令行动），然后下游具体任务（抓特定物体、执行特定指令）用少量数据微调就能适配。

更进一步，像 PaLM-E、RT-2 这类模型，直接把视觉和机器人本体状态（关节角度）注入大语言模型的嵌入空间，让大模型的语言理解能力直接服务于机器人决策。它们证明了：动作可以成为一种新的“模态”，身体可以成为一种新的“输入”，大模型的框架可以容纳机器人。

2.2 VLA 的架构

视觉-语言-动作模型（VLA）的架构很直观：输入视觉（图像）、语言（指令），输出动作（机器人该执行的运动）。它把这三个模态在一个模型里统一处理。

具体来说，VLA 把图像通过视觉编码器转成视觉 token，把语言指令通过语言编码器转成文本 token，把两者拼接送入一个 transformer 解码器，解码器输出动作 token，动作 token 解码成具体的机器人控制量（关节角度、末端位姿等）。

VLA 的精妙之处在于它统一了三个模态。传统做法是感知、语言理解、动作生成三个分开的模块，模块间有信息损失；VLA 在一个模型里端到端处理，信息流通更完整。而且因为底层是 transformer，它继承了语言大模型的泛化和推理能力。

2.3 VLA 的泛化能力

VLA 最让人兴奋的是它的泛化能力。因为在大规模多样数据上训练，它能把没见过的指令和物体也处理得不错。

比如 RT-2 模型，训练时用了大量网页文本和图像（学语言和视觉概念），加上一些真实机器人数据（学动作映射）。结果它能执行从没在机器人数据里出现过的指令——比如“把红色药瓶放进蓝色托盘”，因为它从网页数据里学会了“红”“蓝”“药瓶”“托盘”这些概念，从机器人数据里学会了“抓取”“放置”这些动作原型，两者组合就能处理新指令。

这种泛化是专用模型做不到的。专用模型只认得训练过的物体和指令；VLA 能组合学到的概念，处理开放的新组合。这是具身智能走向通用的关键一步。

三、工程实践要点

3.1 数据是最大瓶颈

VLA 的能力来自大规模训练数据，但机器人数据采集又慢又贵。语言数据可以从网页爬取，图像数据也海量，但“机器人动作”数据必须真机或仿真采集，一个抓取动作可能要几分钟，采几万条就要几个月。这是 VLA 发展的最大瓶颈。

应对的思路有几条：用仿真数据补（仿真采集快但要 Sim2Real）、用人类视频学（人类操作视频蕴含动作知识）、共享数据集（多个团队贡献数据形成开放数据集）。数据问题是 VLA 能不能实用的关键。

3.2 推理延迟是个挑战

VLA 是大模型，推理慢。但机器人控制要实时（几十赫兹），大模型推理一次可能要几百毫秒甚至秒级。这个延迟对高频控制太高了。

实际做法是分层：VLA 做低频的高层决策（“下一步该抓什么”），低层的精细控制（轨迹跟踪、力控）交给快的小模型或控制算法。VLA 不直接输出高频控制量，而是输出高层动作目标，由底层控制器执行。这样既用了 VLA 的理解能力，又保证了实时性。

⚠️ 常见坑：指望 VLA 直接做高频控制，结果推理延迟太高，机器人动作卡顿甚至失稳。VLA 要放在高层决策层，低层控制用快的小模型，分层协作。

3.3 VLA 不是万能的

VLA 泛化能力强，但不是万能的。它对训练数据覆盖外的极端情况仍会失败，对精细操作（穿针、拧螺丝）的精度不够，输出的动作也不一定符合物理约束（可能规划出会碰撞的轨迹）。所以 VLA 要和传统方法结合——VLA 做理解和粗规划，传统规划控制做精细执行和安全约束。

💡 关键直觉：VLA 的价值是“泛化”——用一套模型处理多样化的指令和场景，而不是每个任务训一个专用模型。它让机器人从“只会做训练过的事”走向“能理解开放指令”，这是通用的前提。但精细执行和安全仍要靠传统方法，VLA 不是要取代一切，而是补上了“理解”这块短板。

要点速记

• 基础模型思想：训一个通用模型当起点，下游任务微调或提示复用，从语言迁移到具身。
• VLA 架构：输入视觉加语言，输出动作，用 transformer 统一三模态端到端处理。
• 泛化能力：组合学到的概念，处理没训练过的指令和物体组合，是走向通用的关键。
• 数据瓶颈：机器人动作数据采集慢且贵，是 VLA 发展最大挑战，靠仿真、视频、共享数据集缓解。
• 推理延迟：VLA 大模型推理慢，放高层决策层，低层控制用快的小模型分层协作。
• 不是万能：极端情况会失败、精细操作精度不够，要和传统规划控制结合。

下一节讲怎么把复杂任务组织成动作序列，以及记忆系统怎么支持长程任务。