2.9 姿态估计 (Pose Estimation)

2.9 姿态估计 (Pose Estimation)

本节摘要：姿态估计识别目标的关键点位置。本节讲它在自动驾驶行人意图理解中的作用——从姿态判断行人要干嘛。

本节目标

阅读完本节，你应当能够：

1. 理解姿态估计的作用
2. 知道 2D/3D 姿态
3. 了解在自动驾驶的应用

概念脉络

姿态估计的作用

姿态估计识别目标关键点（如人体关节）位置，推断姿态。自动驾驶用它理解行人意图——站、走、跑、要过马路。

2D vs 3D 姿态

人体姿态估计

人体姿态估计识别关节关键点：

• 关键点：头、肩、肘、腕、髋、膝、踝
• 2D：图像平面坐标
• 3D：3D 坐标

代表模型

在自动驾驶的应用

行人意图理解

姿态估计帮助理解行人意图：

• 头部朝向：看向马路 → 可能过马路
• 身体朝向：朝马路 → 准备穿越
• 步态：站立/行走/奔跑
• 手势：挥手、示意

姿态比单纯检测框更能判断行人下一步行为。

车辆朝向

车辆 3D 姿态估计判断朝向角，用于：

• 转向意图（车头朝向）
• 变道预测

姿态估计流程

1. 检测：找到行人/目标
2. 关键点检测：识别关节位置
3. 姿态组装：关键点连成骨架
4. 意图推断：姿态 → 行为意图

挑战

• 遮挡：关节被挡
• 多人：拥挤场景多人姿态
• 小目标：远处行人关键点难
• 3D 估计：从 2D 推 3D 有歧义
• 实时：自动驾驶要快

姿态与意图识别

姿态估计是意图识别（2.8 节）的输入：

• 姿态 → 意图（过马路/停留）
• 结合轨迹 → 更准预测

⚠️ 遮挡：行人关节常被挡（如腿被车挡），姿态估计要处理遮挡，用上下文推断被挡关键点。

💡 关键直觉：姿态估计识别关键点（关节），用于行人意图理解（头部朝向/步态判断过马路）和车辆朝向。2D 平面、3D 精确。模型 OpenPose/HRNet。挑战遮挡/多人/小目标。姿态是意图识别输入。

重点提炼

• 作用：识别关键点，推断姿态和意图。
• 2D vs 3D：2D 图像平面，3D 精确姿态。
• 人体：关节关键点（头/肩/肘/腕/髋/膝/踝）。
• 模型：OpenPose、HRNet、AlphaPose、BlazePose、SMPL。
• 应用：行人意图（头部朝向/步态）、车辆朝向。
• 流程：检测→关键点→姿态组装→意图推断。
• 挑战：遮挡、多人、小目标、3D 歧义、实时。
• 与意图：姿态是意图识别输入，结合轨迹更准。

下一节讲深度估计。

关键点预测的热图范式

主流姿态估计把关键点预测建模为热图回归：网络为每个关键点（头、肩、肘、腕、髋、膝、踝）输出一张概率热图，热图上每个位置的值代表该位置是关键点的置信度，训练时用高斯核在关键点真值处生成目标热图。推理时取热图峰值即为关键点坐标。热图范式天然保留了空间信息，对遮挡和抖动比直接回归坐标更稳。

# 热图范式示意
heatmaps = model(image)          # 输出 (C, H, W)，C=关键点数
for c in range(C):
    y, x = argmax(heatmaps[c])   # 每通道取峰值
    confidence = heatmaps[c][y, x]
​

Top-down 方法先检测人再单做姿态，精度高但多人时速度随人数线性增长；Bottom-up 方法先检测所有关键点再聚合成人，速度稳定但匹配容易出错。自动驾驶里的行人一般离车有一定距离、数量不多，多用 Top-down 或轻量的单人姿态网络。

从姿态到过街意图

单靠检测框无法区分"站着看手机"和"准备加速过马路"的行人。姿态估计提供了关键信息：头部朝向是否看向来车方向、重心是否前倾、双腿是否呈起步姿态、有没有挥手示意。把这些姿态特征和行人轨迹（位置、速度、方向）一起喂给一个时序分类器，就能输出"静止、行走、奔跑、意图过街"等状态。实际落地上，姿态识别的稳定性比精度更重要——判断错了顶多多等一会儿，判断漏了可能造成危险，因此状态切换通常也要加时序确认，避免单帧姿态抖动引发误判。顺带一提，姿态估计还可以服务于车内监控：驾驶员监控系统用类似的关键点方法判断驾驶员是否闭眼、低头、分心，这与行人姿态估计共享同一套底层技术。