本章要回答的三个问题:分类头之外,同一条特征流水线还能输出什么——框、掩码还是像素?检测与分割的指标(IoU、mAP、逐像素交并比)是怎么定义和手算的?图像生成与风格迁移凭什么说是"反着走流水线"?本章把练好的分类流水线送出厂,看它如何改头换面去干四类新活。
前三章的流水线终点是十个类别分数,但真实项目要的往往不止"图里有什么":无人车要知道行人在哪,打码工具要知道人脸的轮廓,设计软件要能凭空画出一张图。这些能力的底座仍是那套卷积特征提取——变的是流水线出口之后的加工段。看懂本章的关键翻译动作只有一个:把"输出形态"与"对齐口径"两个概念搬到新任务上。输出从类别分数换成边界框或逐像素标签,评估从准确率换成交并比一族;骨干网络照旧是第三章的 ResNet 们。
本章以一次分类项目复盘开篇——它是全书内容的汇合点,也是后续任务的对照组。检测在分类的框上加定位,分割把框细化到像素,生成把流水线的方向整个反过来。四节连读,你会得到一张"任务形态谱系图":拿到任何视觉需求,先问输出形态,再挑指标,最后选骨干。
| 节号 | 回答的问题 | 关键产出 |
|---|---|---|
| 5.1 分类项目全流程复盘 | 练好的流水线怎么落地 | 一份可复用的项目操作清单 |
| 5.2 目标检测 | 在哪、是什么 | IoU 手算与 NMS 实作 |
| 5.3 语义与实例分割 | 像素级阅卷怎么做 | 掩码 IoU 与 Dice 手算 |
| 5.4 图像生成与风格迁移 | 反着走流水线 | 转置卷积与风格损失 |

进本章前对三问。一问输出形态:你的项目要的是标签、框还是逐像素掩码?答不上来,先画输出草图。二问指标口径:框类任务的主尺是 IoU 与 mAP,掩码类是逐像素交并比与 Dice,跟准确率不是一家。三问骨干复用:检测、分割的骨干仍是第三章那批卷积流水线,换任务不换底座——想通这一点,本章四节就只是"换头手术"的四个病例。
把本章四节压成一张口袋卡。分类:整图一个标签,指标看准确率与混淆矩阵。检测:目标若干框,先手算 IoU 再谈 mAP,密集场景警惕 NMS 误杀。分割:像素各归各类,语义只问类别、实例再加个体编号,Dice 是医学圈的通用语。生成:方向反着走,转置卷积放大回像素,GAN 用对手逼出逼真度。拿到需求先归格子,格子定了,指标与数据标注方式就都定了——这比先挑模型靠谱得多。
任务形态见全之后,第六章做工程收尾:工具链与算力怎么选、模型会怎么被骗、数据集怎么管、注意力时代 CNN 排在第几把交椅——把这本教程从"懂原理"送到"能交付"。