第5章 高级主题与扩展

第 5 章 · 高级主题与扩展

章节摘要：前三章讲的都是"在通用图像分类上找好架构"，真实世界可没这么客气。本章把 NAS 推到五个更硬的场景：约束条件下的 NAS（延迟/FLOPs/内存怎么融进搜索）、特定数据类型的 NAS（文本/音频/视频/图/时序各需要什么搜索空间）、特定任务的 NAS（检测/分割/NLP 要搜的不止骨干网）、NAS 的理论分析（收敛性、泛化界、搜索空间几何）、以及 NAS 的公平性与伦理（数据偏见、资源鸿沟、可解释性责任）。读完本章，你能把通用 NAS 方法论迁移到自己的垂直场景，并意识到"搜出来的架构"离"可用的系统"还有多远。

值得先说清本章的定位：它不是"选读的进阶内容"，而是"从研究走向工程的关键一环"。前四章的方法论默认环境是实验室——图像数据、通用任务、算力自由。一旦要交付一个真实系统，约束、数据形态、任务指标、伦理责任全部变成硬约束。本章五个主题的共同出发点就是回答：当实验室前提不成立时，NAS 该怎么调整。这也是为什么我们把理论分析与伦理这类"软话题"也收进来——它们和约束、数据一样，决定 NAS 能否从论文走进产品。

读完这一节你会得到

阅读完本章，你应当能够：

1. 说出约束 NAS 的六类约束与四类方法（惩罚项、约束优化、多目标、代理预测）
2. 针对文本、图、时间序列等数据类型，指出搜索空间设计的关键差异
3. 举例说明目标检测、图像分割、NLP 等任务中 NAS 的搜索对象（Backbone/Neck/Head、Encoder-Decoder、Transformer 组件）
4. 说清 NAS 理论分析的五大工具（优化、泛化、随机过程、信息论、代理模型理论）各能回答什么问题
5. 识别 NAS 流程中可能出现的偏见来源，并提出缓解手段（重采样、公平性约束、可解释性）

核心概念速览

金句：把精度当唯一目标的 NAS 是实验室玩具，把约束当一等公民的 NAS 才是工程工具。

这张全景图画的是一条"现实的回归线"。前四章（第 1-4 章）的 NAS 在一个理想化的世界里运行：数据是标准图像、任务是通用分类、目标只有精度、算力不受限。本章的五个主题依次击穿这四个理想化前提——约束 NAS 击穿"目标只有精度"，特定数据 NAS 击穿"数据是标准图像"，特定任务 NAS 击穿"任务是通用分类"，理论分析击穿"算力不受限"（它追问效率的代价），公平伦理击穿"搜索是价值中立的"。图下部的五个分支正是五面被打破的镜子。读完全章后，你应该能从"通用 NAS 三前提"这条主线出发，把任意一个高级主题讲成"打破哪个前提后的补丁版本"。

子章节导航

5.1 约束条件下的 NAS

从移动端部署痛点切入：约束类型（性能/资源/鲁棒性/公平/可解释），方法（惩罚项、拉格朗日、多目标 Pareto、代理预测、强化学习），挑战（指标预测精度、硬件多样性）。

5.2 特定数据类型的 NAS

图像（Cell-based）、文本（RNN/Transformer 组件）、音频（TCN/CTC）、视频（3D CNN/时空注意力）、时序（自注意力/分解）、图（GNN 算子/聚合函数）各自的空间设计要点。

5.3 特定任务的 NAS

检测搜 Backbone/Neck/Head，分割搜 Encoder-Decoder 与损失，NLP 搜 Transformer 超参数，推荐搜 Embedding/交互/排序，强化学习搜策略/价值网络。

5.4 NAS 的理论分析

为什么需要理论（理解、指导、评估、预测），五大工具能干什么，以及收敛性分析、搜索空间几何、泛化界、代理模型精度四条典型研究方向。

5.5 NAS 的公平性与伦理

数据/标签/算法/评估四类偏见，重采样、对抗训练、公平约束、差分隐私、联邦学习等缓解手段，以及透明度、问责、隐私、社会责任的伦理框架。

子章节之间的逻辑关系

5.1 约束（加上"现实限制"这一维）
    │
    ├──► 5.2 数据类型（换个输入，换套空间）
    ├──► 5.3 任务（换个目标，换套搜索对象）
    ├──► 5.4 理论（追问：为什么有效）
    └──► 5.5 伦理（追问：对谁负责）
​

前两节是"往工程方向扩展"，后两节是"往认识与社会方向反思"，一节比一节更"软"，但都影响 NAS 能否真正落地。五个主题的展开深度有意错开：5.1 约束 NAS 与 5.2/5.3 工程关系最紧，给了完整的方法分类与案例；5.4 理论偏研究导向，讲的是"分析工具清单"而非定理推导；5.5 伦理是最容易被人跳过的一节，但它回答的"NAS 的偏见从哪来、对谁负责"恰恰是工程落地时最容易踩的坑——第 4 章的评估偏差、第 2 章的搜索空间偏好，都是 5.5 讨论的具体来源。

前置知识与后续延伸

• 前置知识：第 2-4 章的三大要素是本节所有扩展的底座；理解多目标优化与 Pareto 前沿的基本概念
• 后续延伸：第 6 章的工具实践里，约束 NAS 需要代理模型预测延迟，特定任务 NAS 需要自定义搜索空间——本章的概念直接对应到工具的配置项

本章阅读提示

第 5 章的可读策略是"按需取用"：如果你的目标是把 NAS 用到移动端，重点读 5.1；如果你的数据不是标准图像，重点读 5.2；如果你在做某个垂直任务（检测、NLP、推荐），重点读 5.3；5.4 适合有研究诉求的读者，5.5 建议所有人至少扫一遍。五个主题共享同一个底层逻辑——"通用 NAS 的三个前提（图像数据、通用任务、精度单一目标、算力自由）逐一被现实打破"，每个主题都是在打破一个前提后重建的版本。抓住这条主线，五个看似独立的主题就串成了一张网。