4.6 不同评估策略的比较与选择

4.6 不同评估策略的比较与选择

第四章：NAS 的核心要素：评估策略 - 4.6 不同评估策略的比较与选择

神经网络架构搜索 (Neural Architecture Search, NAS) 正迅速成为构建高性能深度学习模型的关键技术。正如一位经验丰富的匠人需要精湛的工具和严谨的评估方法来打造杰作，NAS 算法也离不开高效且可靠的评估策略 (Evaluation Strategy)。评估策略在 NAS 流程中扮演着至关重要的角色，它决定了我们如何衡量和比较不同网络架构的优劣，最终引导搜索算法找到最优解。如果说搜索空间定义了可能的架构范围，搜索算法指引了探索方向，那么评估策略则如同 NAS 的 "标尺" 和 "裁判"，确保我们能够准确地度量架构的性能，并做出正确的选择。

本章节，我们将深入探讨 NAS 中不同评估策略的比较与选择。我们将从评估策略的核心概念出发，详细剖析各种主流评估方法的原理、优缺点、适用场景，并辅以生动的图例和实际应用案例，帮助读者全面理解并掌握如何根据不同的 NAS 任务和资源约束，选择最合适的评估策略，从而最大化 NAS 的效率和成果。

4.6.1 评估策略的重要性：NAS 的 "标尺" 与 "裁判"

在 NAS 的迭代搜索过程中，我们不断生成新的网络架构，并需要对其性能进行评估，以便搜索算法能够根据评估结果调整搜索方向，朝着更优的架构空间探索。评估策略的核心目标是快速且准确地预测一个网络架构在目标任务上的真实性能。一个好的评估策略应该具备以下关键特性：

• 高效率 (Efficiency)： NAS 通常需要在庞大的搜索空间中探索大量的候选架构。如果每次评估都需要耗费大量的计算资源和时间，NAS 的整体效率将大打折扣。因此，高效的评估策略至关重要。
• 高相关性 (Correlation)： 评估结果应该与架构的真实性能高度相关。如果评估结果与真实性能偏差过大，搜索算法可能会被误导，导致最终找到的架构并非最优。
• 低方差 (Low Variance)： 评估结果应该稳定可靠，避免因随机因素 (如不同的初始化、数据shuffle等) 导致评估结果波动过大。
• 可扩展性 (Scalability)： 评估策略应该能够适应不同规模的搜索空间和不同类型的任务。

一个不恰当的评估策略，轻则导致 NAS 效率低下，浪费大量计算资源，重则误导搜索方向，找到次优甚至劣质的架构。因此，评估策略的选择直接影响着 NAS 的成败。

4.6.2 主流评估策略的分类与详解

根据评估方式的不同，我们可以将 NAS 的评估策略大致分为两大类：基于代理 (Proxy-based) 的评估策略 和 完整训练 (Full Training-based) 的评估策略。

4.6.2.1 基于代理 (Proxy-based) 的评估策略

基于代理的评估策略旨在通过使用一些简化的方法或近似手段来快速评估网络架构的性能，而无需进行完整的训练过程。其核心思想是利用一些代理指标 (Proxy Metric) 或 代理任务 (Proxy Task) 来预测架构的真实性能。这种策略的优势在于速度快、计算成本低，可以大幅提升 NAS 的效率，尤其适用于大规模搜索空间的探索。然而，其潜在的风险在于代理指标或代理任务与真实性能之间的相关性可能不够高，导致评估结果的准确性受到影响。

常见的基于代理的评估策略包括：

1. 基于代理数据集 (Proxy Dataset) 的评估:

• 原理: 使用一个规模较小、更易于训练的数据集 (代理数据集) 来代替原始数据集进行架构评估。
• 优点: 显著减少训练时间和计算资源消耗，加速评估过程。
• 缺点: 代理数据集的分布可能与原始数据集存在差异，导致评估结果与真实性能的相关性降低，尤其是在数据集领域偏移 (Domain Shift) 较大的情况下。
• 适用场景: 适用于原始数据集规模较大，训练时间较长，且希望快速进行初步架构筛选的场景。例如，在 ImageNet 这种大型图像分类数据集上进行 NAS 时，可以使用 CIFAR-10 或 ImageNet-1k 子集作为代理数据集进行快速评估。

2. 基于代理任务 (Proxy Task) 的评估:

• 原理: 使用一个与原始任务相似但更简单的任务 (代理任务) 来评估架构的性能。
• 优点: 降低任务难度，减少训练时间和计算资源消耗。
• 缺点: 代理任务与原始任务之间的差异可能导致评估结果与真实性能的相关性降低。任务选择不当甚至可能误导搜索方向。
• 适用场景: 适用于原始任务难度较高，训练时间较长，且存在相似但更简单的任务可替代的场景。例如，在目标检测任务上进行 NAS 时，可以使用图像分类任务作为代理任务进行初步评估。

3. 基于简化训练 (Simplified Training) 的评估:

• 原理: 在完整数据集上进行训练，但通过简化训练过程 (例如，减少训练 epoch、使用更小的 batch size、更简单的优化器、更弱的数据增强等) 来加速评估。
• 优点: 仍然在原始数据集上进行训练，评估结果与真实性能的相关性相对更高。相比完全训练，显著降低了计算成本。
• 缺点: 简化训练过程可能会影响架构的充分训练，导致评估结果的准确性降低。简化程度需要仔细权衡，过度简化可能导致评估结果失真。
• 适用场景: 适用于希望在原始数据集上进行评估，但又希望降低计算成本的场景。例如，可以使用较少的 epoch 数 (如 5-10 个 epoch) 来评估架构的初步性能。

4. 基于性能预测器 (Performance Predictor) 的评估:

• 原理: 训练一个性能预测器 (例如，基于 RNN、GNN 等的模型)，学习架构描述 (例如，网络拓扑结构、超参数等) 与架构性能之间的映射关系。利用训练好的性能预测器，直接预测新架构的性能，无需实际训练。
• 优点: 评估速度极快，几乎零成本。一旦性能预测器训练完成，可以快速评估大量的候选架构。
• 缺点: 性能预测器的训练需要大量的架构-性能数据对，训练成本较高。预测器的准确性直接影响评估结果的可靠性。泛化能力是关键挑战，预测器可能难以准确预测与训练数据分布差异较大的架构的性能。
• 适用场景: 适用于搜索空间巨大，需要评估大量候选架构，且可以预先收集到足够多的架构-性能数据对的场景。例如，在搜索空间固定的情况下，可以预先训练一个性能预测器，用于后续的快速架构评估。

5. 基于零样本代理 (Zero-shot Proxy) 的评估:

• 原理: 不进行任何训练，直接通过分析架构的结构特性或初始化状态来预测其性能。例如，基于网络的梯度范数、参数数量、FLOPs 等指标进行预测。
• 优点: 评估速度极快，无需训练，计算成本极低。
• 缺点: 预测准确性通常较低，与真实性能的相关性较弱。依赖于人工设计的启发式指标，普适性较差。
• 适用场景: 适用于需要进行极端快速的初步架构筛选，对评估精度要求不高，或者作为其他评估策略的辅助手段。例如，在超大规模搜索空间中，可以使用零样本代理先进行初步过滤，缩小搜索范围。

为了更清晰地展示基于代理评估策略的分类，我们可以使用图进行可视化：

4.6.2.2 完整训练 (Full Training-based) 的评估策略

完整训练的评估策略是指对每个候选架构进行完整的训练和验证，以获得其在目标任务上的真实性能指标 (例如，准确率、损失值等)。这种策略的优势在于评估结果最准确、可靠，能够真实反映架构的性能水平。然而，其最大的缺点是计算成本高昂、耗时漫长，尤其是在大型数据集和复杂任务上，完整训练一个网络架构可能需要数小时甚至数天的时间，严重制约了 NAS 的效率。

常见的完整训练的评估策略包括：

1. 标准训练 (Standard Training):

• 原理: 使用预定义的训练超参数 (例如，学习率、优化器、epoch 数等) 对候选架构进行完整的训练，并在验证集上评估其性能。
• 优点: 评估结果最准确、可靠，能够真实反映架构的性能水平。
• 缺点: 计算成本高昂，耗时漫长，效率低下。
• 适用场景: 适用于对评估精度要求极高，计算资源相对充足，或者在 NAS 的最后阶段，对少量候选架构进行精细评估和最终选择的场景。

2. 早停 (Early Stopping):

• 原理: 在标准训练的基础上，引入早停机制。在训练过程中，持续监控验证集性能，当验证集性能在一定 epoch 后不再提升或开始下降时，提前终止训练。
• 优点: 在保证评估结果相对准确的前提下，可以有效缩短训练时间，降低计算成本，提升评估效率。
• 缺点: 早停策略的参数 (例如，耐心值、性能提升阈值等) 需要仔细调整，不当的早停策略可能会导致训练不足或过早停止，影响评估结果的准确性。
• 适用场景: 适用于希望在保证评估精度和效率之间取得平衡的场景。例如，在 NAS 的中期搜索阶段，可以使用早停策略进行架构评估。

3. 多保真度评估 (Multi-fidelity Evaluation):

• 原理: 结合低保真度 (例如，代理数据集、简化训练) 和高保真度 (完整训练) 的评估方法，在 NAS 搜索的不同阶段采用不同的评估策略。例如，在搜索初期，使用低保真度评估快速筛选掉大量低性能架构，在搜索后期，使用高保真度评估精细评估少量候选架构。
• 优点: 在保证评估效率的同时，尽可能提高评估精度。充分利用了低保真度评估的快速性和高保真度评估的准确性。
• 缺点: 需要合理设计多保真度评估策略的切换机制和参数，策略设计不当可能导致效率提升不明显或精度损失过大。
• 适用场景: 适用于需要在大规模搜索空间中进行高效搜索，同时又希望保证一定评估精度的场景。例如，在资源有限的情况下。例如，在资源有限的情况下，可以先使用代理数据集进行初步筛选，然后使用简化训练进行中期评估，最后使用完整训练对少量优秀架构进行最终评估。

为了更清晰地展示完整训练评估策略的分类，我们可以使用图进行可视化：

4.6.3 不同评估策略的比较

为了更清晰地了解不同评估策略的优缺点，我们可以将它们进行比较，如下表所示：

4.6.4 评估策略的选择：权衡效率与精度

选择合适的评估策略是 NAS 的关键步骤，需要综合考虑以下几个因素：

• 计算资源: 计算资源是选择评估策略的首要约束条件。如果计算资源充足，可以选择完整训练的评估策略，以获得更准确的评估结果。如果计算资源有限，则需要选择基于代理的评估策略，以降低计算成本。
• 搜索空间大小: 搜索空间的大小直接影响了需要评估的架构数量。如果搜索空间较小，可以选择计算成本较高的评估策略。如果搜索空间较大，则需要选择计算成本较低的评估策略，以加速搜索过程。
• 任务复杂度: 任务的复杂度 (例如，数据集规模、任务难度等) 也会影响评估策略的选择。对于复杂的任务，可能需要选择更精确的评估策略，以避免评估结果失真。
• 评估精度要求: 不同的 NAS 任务对评估精度的要求不同。如果对评估精度要求较高，可以选择完整训练的评估策略。如果对评估精度要求不高，可以选择基于代理的评估策略。
• 时间预算: 时间预算是另一个重要的约束条件。如果时间预算有限，则需要选择速度更快的评估策略。

一些通用的选择策略：

• 早期阶段： 优先选择低成本、高效率的代理评估策略，例如基于代理数据集、代理任务或零样本代理，快速筛选掉性能较差的架构，缩小搜索范围。
• 中期阶段： 逐步增加评估的保真度，选择简化训练或早停策略，在原始数据集上进行评估，以获得更准确的性能评估结果。
• 后期阶段： 对于少量候选架构，进行完整训练，并使用标准训练或精细调整的早停策略，以获得最准确的性能评估结果，并最终选择最优架构。
• 资源受限场景： 采用多保真度评估策略，根据不同的资源预算和时间预算，动态调整评估策略的保真度。

案例分析：

• 案例 1： 在 ImageNet 数据集上进行图像分类任务的 NAS，计算资源有限。

  • 选择策略： 多保真度评估策略。
  • 具体实施： 首先使用 CIFAR-10 作为代理数据集进行快速筛选，然后使用 ImageNet-1k 子集进行简化训练，最后对少量候选架构进行完整训练。

• 案例 2： 在目标检测任务上进行 NAS，计算资源充足。

  • 选择策略： 完整训练的评估策略。
  • 具体实施： 对每个候选架构进行完整的训练和验证，并使用早停策略来加速训练过程。

• 案例 3： 在移动端设备上进行 NAS，需要快速部署模型。

  • 选择策略： 基于零样本代理的评估策略。
  • 具体实施： 使用网络的 FLOPs 或参数数量作为评估指标，快速筛选出计算量较小的架构。

4.6.5 评估策略的未来发展趋势

NAS 领域的快速发展也推动了评估策略的不断创新。未来的评估策略将朝着以下几个方向发展：

• 更高效的代理指标： 研究更准确、更高效的代理指标，例如基于信息论的指标、基于神经网络的指标等，以提高代理评估策略的准确性。
• 自适应的评估策略： 开发自适应的评估策略，能够根据不同的搜索阶段、计算资源和任务复杂度，自动调整评估策略的保真度和参数。
• 元学习的评估策略： 利用元学习技术，学习不同架构的性能预测模型，并将其应用于新的 NAS 任务中，以加速评估过程。
• 可解释的评估策略： 研究可解释的评估策略，能够提供对架构性能的 insights，帮助研究人员更好地理解架构的优缺点。
• 跨任务的评估策略： 开发跨任务的评估策略，能够评估架构在多个任务上的性能，并选择在多个任务上都表现良好的通用架构。

4.6.6 总结

评估策略是 NAS 的核心要素之一，它决定了我们如何衡量和比较不同网络架构的优劣。选择合适的评估策略需要在效率和精度之间进行权衡，并综合考虑计算资源、搜索空间大小、任务复杂度、评估精度要求和时间预算等因素。随着 NAS 领域的不断发展，未来的评估策略将朝着更高效、更自适应、更可解释和更通用的方向发展，为 NAS 的发展提供更强大的支持。掌握不同评估策略的优缺点和适用场景，能够帮助研究人员和工程师更好地应用 NAS 技术，构建高性能的深度学习模型。