章节摘要:自动驾驶感知靠深度学习模型。本章讲 CNN、Transformer、RNN、GAN、迁移学习、轻量化、量化部署——感知模型的"算法库"。
阅读完本章,你应当能够:
不同模型解决不同感知问题,工程化要轻量和部署。
4.1-4.2 主干模型(CNN/Transformer) 4.3-4.4 序列与生成(RNN/GAN) 4.5 迁移(数据适应) 4.6-4.7 轻量与部署(落地)
从主干模型到序列生成,再到迁移和部署落地。
第 4 章是"模型工具箱",与第 2 章的任务一一对应:CNN 与 Transformer 是检测分割的骨干,RNN 处理轨迹与时序,GAN 与合成数据配合生成训练样本,迁移学习解决场景迁移,轻量化与量化解决"模型能不能在车上跑起来"。学习时注意建立"任务对应模型"的映射:看到某个感知任务,能说出它常用的模型家族和选型理由。这一章的概念密度不低,但每个模型我们都从"解决什么问题"入手,避免陷入纯数学细节。
4.1 与 4.2 是本章核心,建议精读——它们支撑了第 2 章绝大部分任务。4.3 RNN 可以快速过,了解 LSTM/GRU 的定位即可;4.4 GAN 了解它在数据生成上的用途;4.5 迁移学习重点掌握"预训练加微调"和域适应这两个概念;4.6 与 4.7 讲工程落地,推荐结合车载硬件(Orin 等)一起理解。读完本章,你应该能回答:为什么 Transformer 在 BEV 感知里成为主流、模型怎么从训练走向车载量产。这一章与第 2 章建议对照阅读:遇到 BEV、DETR、注意力等概念时,回到对应任务节看它服务的场景,理解会更立体。
还有一条贯穿全章的线索留意:模型的演进始终围绕"感知精度与计算资源的博弈"。CNN 用局部共享权重省算力,Transformer 用注意力换全局建模能力,轻量化与量化则是把精度优势重新压回算力预算之内。读每节时多问一句"它比上一代多花多少算力、换来什么收益",工程直觉就会慢慢建立起来。