3.2 多传感器融合 (Sensor Fusion)

3.2 多传感器融合 (Sensor Fusion)

本节摘要：单一传感器不够鲁棒，融合才可靠。本节讲早/中/晚期融合策略——让摄像头、激光雷达、雷达互补。

本节地图

阅读完本节，你应当能够：

1. 理解融合的必要性
2. 区分早/中/晚期融合
3. 知道融合的挑战

概念脉络

为什么需要融合

单一传感器各有局限：

• 摄像头：语义强但受光照天气、测距弱
• 激光雷达：精确 3D 但贵、受雨雾
• 雷达：全天候测速但分辨率低

融合互补，提升鲁棒性和精度，是高等级自动驾驶必需。

融合策略

图 3-2 多传感器融合策略

早期融合（数据级）

直接融合原始数据：

• 激光雷达点云投影到图像，点云+像素一起处理
• 信息最全
• 需精确标定（外参）和时间同步
• 计算量大

中期融合（特征级）

各传感器独立提特征，特征融合：

• 摄像头提图像特征，激光雷达提点云特征，融合
• 平衡精度和计算
• BEV 融合是趋势：多传感器特征统一到 BEV 空间
• 主流方案（BEVFusion、TransFusion）

晚期融合（决策级）

各传感器独立完成感知，结果融合：

• 摄像头检测结果 + 激光雷达检测结果，合并
• 简单灵活
• 信息损失大（各传感器结果已压缩）

BEV 融合（趋势）

现代自动驾驶感知趋势：多传感器特征统一到 BEV（鸟瞰图）空间融合：

• 摄像头特征转 BEV
• 激光雷达点云本就在 3D/BEV
• 在 BEV 统一空间融合检测
• 代表：BEVFusion、TransFusion

BEV 融合让多传感器在统一空间感知，精度高，是当前主流。

卡尔曼滤波融合

状态估计用卡尔曼滤波融合多传感器：

• 摄像头给位置（噪声大）
• 雷达给速度（精确）
• 卡尔曼融合得最优估计

扩展卡尔曼（EKF）处理非线性。

融合的挑战

融合的优势

• 鲁棒性：一传感器失效，其他兜底
• 精度：互补提升
• 全天候：摄像头失效时雷达工作
• 冗余：安全关键

⚠️ 标定同步：融合前提是精确标定（传感器间位置关系）和时间同步，否则融合错位。这是融合的工程难点。

💡 关键直觉：融合互补提升鲁棒精度。早期（数据级，信息全难）、中期（特征级，主流）、晚期（决策级，简单损失大）。BEV 融合是趋势（统一 BEV 空间）。卡尔曼滤波融合状态。挑战标定/同步/坐标系/异构/冲突。

一节小结

• 必要性：单一传感器局限，融合互补提升鲁棒精度。
• 早期融合：数据级，原始数据融合，信息全需精确标定。
• 中期融合：特征级，各提特征再融合，平衡，主流。
• 晚期融合：决策级，各独立感知再合并，简单但信息损失。
• BEV 融合：多传感器特征统一 BEV 空间，趋势（BEVFusion/TransFusion）。
• 卡尔曼：状态估计融合多传感器，EKF 处理非线性。
• 挑战：标定、时间同步、坐标系统一、异构数据、冗余冲突。
• 优势：鲁棒、精度、全天候、冗余。

下一节讲数据集与标注。

标定、同步与坐标系，融合的三个地基

融合效果好不好，一半取决于感知算法，一半取决于三个"地基"。外参标定确定传感器之间的相对位姿，常见做法是标定板或标定间里采集多传感器数据，求解旋转和平移；时间同步把各传感器数据对齐到同一时刻，摄像头 30Hz、激光雷达 10Hz、毫米波雷达 50Hz，量产车常用一个时间同步硬件模块统一打时间戳；坐标系统一则是把雷达的极坐标、激光雷达的车体坐标、摄像头的相机坐标都换算到同一车体坐标系下。

传感器原始流
  -> 时间戳对齐(硬件同步)
  -> 坐标变换(相机/雷达 -> 车体)
  -> 融合算法(早/中/晚)
  -> 统一环境模型
​

BEV 融合为什么成为主流

把摄像头特征和激光雷达特征都投影到车体上方的 BEV 网格，然后在 BEV 上做检测和分割，是近几年的主流方案（BEVFusion、TransFusion）。BEV 融合有三个好处：多传感器在同一个空间坐标下天然对齐，不需要再做 2D 到 3D 的投影转换；BEV 与下游规划模块的坐标系一致，感知结果可以直接消费；对遮挡更鲁棒——摄像头看不到被激光雷达挡住的侧面时，BEV 融合仍然能用激光雷达的几何信息补上。代价是特征投影和网格化会损失一部分图像细节，且算力需求明显上升，一般放在高性能计算平台上。