章节摘要:CV 靠摄像头,但摄像头有多种,数据要标注和增强。本章讲视觉传感器、多传感器融合、数据集与标注、合成数据——CV 的"眼睛"和"粮食"。
阅读完本章,你应当能够:
好的传感器和数据是 CV 的基础,决定感知上限。
单目/双目/环视/鱼眼。
早/中/晚期融合。
KITTI、Waymo、nuScenes。
CARLA、合成数据。
3.1 传感器(硬件) 3.2 融合(多传感器) 3.3 数据集(真实数据) 3.4 合成数据(补充)
从硬件到融合到数据,覆盖传感器和数据全链路。
本章讲的是感知的"硬件与粮食",和第 2 章的任务清单正好互补:任务章回答"感知要什么",本章回答"用什么传感器、拿什么数据喂"。学习时把 3.1 和 3.2 连起来看——摄像头类型决定感知能力边界,多传感器融合决定系统鲁棒性;再把 3.3 和 3.4 连起来看——真实数据集与标注是起点,合成数据补长尾是延伸。四节之间是"传感器、融合、数据、数据补充"的递进关系。
3.1 视觉传感器与 3.2 融合是本章核心,建议精读,重点理解"为什么单一传感器不够"以及"融合的三种层级"。3.3 数据集和 3.4 合成数据可以快速过,记住主流数据集的名字、标注类型和 Sim2Real Gap 这个关键概念即可。学完本章,你应当能回答:一套 L4 感知系统大约需要几路摄像头、融合要在哪个层级做、长尾场景的数据从哪来。如果对工程落地感兴趣,还可以留意"标定"和"时间同步"这两个词——它们不常出现在论文里,却是融合系统上线时最常出问题的地方。
另外提醒一点:本章涉及的数据量级概念(几十万帧、千万级标注框、TB 级存储)建议在心里建立数量感。感知模型的质量上限由数据决定——同样的模型结构,训练数据翻倍往往比调参带来的收益更大。带着"数据是资产、标注是成本"的意识去读后面模型章节,会对很多工程选择(为什么用合成数据、为什么做域适应)有更深的体会。