5.2.3 从视频中学习 (Learning from Videos)

文档摘要

5.2.3 从视频中学习 (Learning from Videos) 5.2.3 从视频中学习（Learning from Videos）：当“看懂动作”变成一场像素级的时空校准战役你有没有试过让机器人学着视频里厨师切洋葱的动作？不是靠文字指令，不是靠预设轨迹，而是——真真切切地“看”一段YouTube上4K拍摄的30秒烹饪视频，然后在自己的机械臂上复现那套手腕内旋、刀尖微抬、节奏停顿的连贯操作？听起来像科幻。可现实中，我们团队上周刚在UR5e平台上跑通了这个流程。结果呢？前五次实验，机械臂挥刀如风，却把洋葱削成了土豆泥；第六次，它稳稳切出七片厚度误差小于0.3mm的薄片——而整个训练过程，没用一帧人工标注的关键点，没接一个力传感器，甚至没动过一次运动学标定参数。为什么前五次失败？