第3章 搜索策略

第 3 章 · 搜索策略

章节摘要：搜索策略是 NAS 的"导航系统"，它决定算法如何在搜索空间里高效移动。本章按五条路线展开：进化算法（选择/交叉/变异）、强化学习（RNN 控制器 + 奖励信号）、梯度优化（连续松弛 + 超网络 + 双层优化）、贝叶斯优化（代理模型 + 采集函数）、随机搜索（基线）。每类都讲清核心机制、代表方法（AmoebaNet、NASNet、DARTS、NASBOT 等）与适用场景，最后一节用一张多维对比表给出选型决策框架。读完本章，你能为一个给定的搜索空间和预算选出搜索策略，并说明取舍理由。

本节要回答的问题

阅读完本章，你应当能够：

1. 说出搜索策略的分类依据，以及"探索-利用"权衡如何区分五类方法
2. 讲清进化算法搜索的六个步骤，并解释锦标赛选择与年龄正则化的作用
3. 说明强化学习搜索中控制器、动作、奖励、策略四要素如何构成闭环
4. 解释连续松弛、超网络、双层优化三个概念，并区分 DARTS、SNAS、ENAS、ProxylessNAS
5. 说清贝叶斯优化里代理模型与采集函数的分工，以及高斯过程/TPE 的差别
6. 根据计算资源、评估成本、搜索空间复杂度三个维度做策略选型

（注：第 4 条学习目标中的连续松弛、超网络属于本教程的"高频词汇"，在第 2.3 节与第 4.4 节会再次出现——搜策略的效率天花板，正是由评估策略的成本地板决定的，这是贯穿第 3、4 两章的暗线。）

核心概念速览

金句：没有免费午餐——越聪明的搜索策略，往往越依赖好的评估反馈，而好的评估反馈恰恰是最贵的东西。

这张全景图的读法，是把它想象成一张"对策分布图"。五种策略从探索端排到利用端：随机最"莽"（什么都不学）、进化次之（学种群、不学个体关系）、强化学习居中（学生成模式）、贝叶斯靠利用端（学代理模型）、梯度最"专"（直接学架构参数）。图的第二层信息藏在代表方法里：AmoebaNet 与 NASNet 都产自 Google，走的是"搜索力优先"路线；DARTS 产自学术圈，走的是"效率优先"路线——代表方法的谱系本身就是 NAS 十年研究重心变迁的缩影。读完全章后回看这张图，你应该能在"探索-利用"轴上为任何一个陌生策略定位，并说出它需要什么样的评估反馈才能运转。

子章节导航

3.1 搜索策略分类与概述

建立五类策略的分类框架，讨论探索-利用、效率-性能、计算成本三条权衡线，为后续各节铺路。

3.2 进化算法搜索

初始化种群-适应度评估-选择-交叉-变异-迭代的流程，AmoebaNet 的规则化锦标赛选择，以及全局搜索强、并行性好但成本高的两面性。

3.3 强化学习搜索

RNN 控制器生成架构、验证集精度当奖励、策略梯度更新的闭环；NASNet 与 MetaQNN 的差异；奖励信号敏感与训练不稳定的坑。

3.4 梯度优化搜索

从离散到连续的松弛、超网络构建、双层优化，DARTS 的具体做法与退化问题，SNAS/ENAS/ProxylessNAS 如何各自修补 DARTS 的短板。

3.5 贝叶斯优化搜索

高斯过程/TPE 代理模型、EI/UCB 采集函数、NASBOT 与 BOHB 的实践，样本效率高但对高维空间力不从心的边界。

3.6 随机搜索

均匀采样、重要性采样、网格化的变体，以及它作为基线在 NAS 里不可替代的价值——RandomNAS 证明随机基线常被低估。

3.7 搜索策略对比与选择

五类策略的多维对比表，围绕计算资源、评估成本、空间复杂度、性能要求给出一套选型决策路径。

子章节之间的逻辑关系

3.1 分类框架（地图）
    │
    ├──► 3.2 进化（全局探索强）
    ├──► 3.3 强化学习（序列决策）
    ├──► 3.4 梯度（效率高、需可微）
    ├──► 3.5 贝叶斯（样本效率）
    └──► 3.6 随机（基线）
              │
              ▼
          3.7 对比与选型（收束）
​

前六节是并行的策略门类，最后一节把散点收拢成决策框架——先看预算再看需求，再落到具体策略。一个重要的阅读提醒：五类策略之间不是"谁取代谁"的竞争关系，而是"谁在什么条件下更划算"的互补关系。DARTS 火了不代表进化算法过时——在大搜索空间、预算充足时，进化的全局探索力依然无可替代；随机搜索永远在场，因为它是最诚实的基线。读每一节时都问自己同一个问题："这个策略的聪明，建立在什么前提上？"——进化建立在评估可并行上，强化学习建立在奖励可学习上，梯度建立在空间可微上，贝叶斯建立在代理模型可建上，前提不成立，聪明就失效。

前置知识与后续延伸

• 前置知识：熟悉梯度下降、softmax 的基本原理，理解神经网络训练循环；第 2 章的可微搜索空间（DARTS 空间）是本处梯度优化节的直接依赖
• 后续延伸：第 4 章的评估策略决定搜索反馈的质量——DARTS 的权重共享评估、强化学习的验证集奖励都来自那里。策略与评估是一对咬合的齿轮

本章阅读提示

第 3 章是全书篇幅最长的一章，也是"对比驱动"主调最突出的一章。建议按两条线索读：横向线索是五类策略各自的机制与代表算法（3.2-3.6），纵向线索是 3.7 的选型决策树——先把横向读完，再用纵向把五条线串起来。边读边记一张自己的"策略速查卡"：每类策略写三行——核心机制、前提条件、典型失败模式。这张卡在第 6 章选工具时会直接派上用场。