3.4 数据增强与合成数据

3.4 数据增强与合成数据

本节摘要：真实数据不够，要增强和合成。本节讲自动驾驶数据增强和合成数据（CARLA 等）——补长尾、降成本的关键。

本节导读

阅读完本节，你应当能够：

1. 知道自动驾驶数据增强
2. 理解合成数据的价值
3. 了解仿真平台

概念脉络

为什么需要增强和合成

自动驾驶数据需求大且长尾多：

• 真实数据采集贵、标注贵
• 长尾场景（事故、极端天气）真实采集危险且少
• 多样性不足

数据增强扩充真实数据，合成数据补长尾。

数据增强

图 3-4 合成数据生成

自动驾驶数据增强：

合成数据

合成数据用仿真平台生成：

• 场景可控：构造任意场景（事故、极端天气）
• 自动标注：仿真知道 ground truth，免人工标注
• 补长尾：生成罕见危险场景
• 安全：不用真实危险采集

仿真平台

合成数据流程

1. 仿真场景：构造道路、车辆、行人、天气
2. 传感器仿真：渲染摄像头、激光雷达、雷达数据
3. 自动标注：仿真直接给 ground truth（3D 框、分割）
4. 合成数据：图像+标注
5. 训练：合成数据训练或混合真实数据

Sim2Real 挑战

合成数据最大挑战是仿真到真实的差距（Sim2Real Gap）：

• 仿真渲染不够真实
• 仿真场景分布与真实不同
• 模型在仿真上好，真实可能差

应对：

• 域适应：缩小仿真和真实差距
• 域随机化：仿真大量随机变化，提升泛化
• 混合训练：合成+真实数据混合

合成数据的应用

• 长尾场景：事故、极端天气、罕见交通
• 预训练：大规模合成预训练+真实微调
• 测试：仿真测试边缘场景（不用真实危险）

数据增强 vs 合成数据

⚠️ Sim2Real Gap：合成数据在仿真上效果好，真实可能差。用域适应、域随机化、混合训练缩小差距。

💡 关键直觉：数据增强（几何/色彩/天气/Copy-Paste）扩充真实数据。合成数据（CARLA/AirSim）仿真生成，自动标注，补长尾，安全。挑战 Sim2Real Gap（仿真到真实差距），用域适应/域随机化/混合训练应对。

本节速览

• 需求：真实数据贵且长尾少，需增强和合成。
• 数据增强：几何（翻转/缩放/裁剪）、色彩（HSV/光照）、天气模拟、Copy-Paste、多尺度。
• 合成数据：仿真生成，自动标注，补长尾，安全。
• 仿真平台：CARLA、AirSim、LGSVL、NVIDIA DriveSim、Waymo Simulation。
• 流程：仿真场景→传感器仿真→自动标注→合成数据→训练。
• Sim2Real Gap：仿真到真实差距，用域适应、域随机化、混合训练应对。
• 应用：长尾场景、预训练、仿真测试。
• 对比：增强（真实变换，成本低）、合成（仿真，自动标注，长尾强）。

第 3 章结束。下一章讲模型与算法。

增强不能破坏语义

数据增强不是无脑变换，必须保持"语义不变性"——翻转后红色信号灯不能变成左侧灯（在左舵国家翻转图像会破坏交通规则的左右语义），放缩时框要同步变换，Copy-Paste 时目标的光照和透视要与背景一致，否则模型会学到错误的相关性。所以自动驾驶团队在增强 Pipeline 里会做很多"语义感知"的设计：如只在非标志类上做水平翻转、对框做等比例缩放、对颜色扰动加边界（避免把雨天训练成黑夜）。

增强流水线（按概率组合）
翻转(仅非交通规则目标) -> 色彩扰动 -> 模糊/噪声
-> 裁剪与缩放(框同步) -> Copy-Paste -> 混合
​

域随机化与混合训练

仿真转真实的核心矛盾是"仿真太干净"。域随机化通过在仿真里随机改变光照、天气、纹理、摄像头参数，让模型见过足够多"变异"，学到的特征更本质，而不是依赖某个固定渲染风格。合成数据与真实数据的配比也讲究：一般先让合成数据在预训练阶段占大头，微调阶段回归真实数据，或者按 1:1 到 1:3 比例混合。经验上，合成数据对"长尾类别"（施工场景、罕见车辆）贡献最大，对常见场景提升有限——因为它真正补的是真实数据里稀有、危险、难以采集的部分。