2.4 搜索空间的编码方式

2.4 搜索空间的编码方式

第二章：NAS 的核心要素：搜索空间

2.4 搜索空间的编码方式：架构之语，算法之匙

在神经网络架构搜索（NAS）的宏伟蓝图中，搜索空间犹如一片蕴藏无限可能的浩瀚星空，而搜索空间的编码方式，则如同指引我们穿梭星河、探寻架构瑰宝的星图与罗盘。它不仅决定了我们如何向搜索算法“描述”神经网络架构，更深刻地影响着搜索效率、探索能力，乃至最终寻得架构的优劣。正如语言是沟通的桥梁，编码方式则是搜索算法与架构空间对话的密钥。

本章节，我们将深入剖析搜索空间编码方式的奥秘，揭示其在 NAS 中举足轻重的作用。我们将从编码的本质出发，细致解读各种主流编码策略，并探讨如何根据实际应用场景，选择最合适的编码方式，最终构建高效且富有成效的 NAS 系统。

引言：当架构不再是手工艺品，编码成为批量生产的引擎

在深度学习的早期，神经网络架构的设计如同精雕细琢的手工艺品，需要专家凭借经验和直觉，反复试验，才能打磨出性能卓越的模型。然而，随着深度学习应用的日益普及和复杂化，人工设计架构的局限性逐渐凸显：效率低下、容易陷入局部最优、难以适应多样化的任务需求。

神经网络架构搜索（NAS）应运而生，旨在将架构设计这一繁琐的手工过程自动化，让算法代替人类专家，在预定义的搜索空间中高效地寻找到最优或近优的神经网络架构。而要实现这一目标，首要任务便是如何将神经网络架构以一种计算机可理解、可操作的方式进行表示，即进行搜索空间的编码。

想象一下，我们要向一位不谙绘画的朋友描述一幅画作，以便他能临摹出来。我们不可能直接将画作“传输”给他，而是需要用语言、文字，甚至草图等方式，将画作的构图、色彩、线条等信息编码成他可以理解的形式。同样的道理，对于 NAS 算法而言，神经网络架构也需要被编码成一种算法可以“消化”的形式，才能进行搜索、评估和优化。

2.4.1 编码的本质：从架构蓝图到算法指令

搜索空间的编码方式，本质上是将神经网络架构从人类可理解的蓝图，转化为算法可操作的指令。这个过程涉及到两个关键层面：

• 架构表示 (Architecture Representation): 如何用数学或符号化的方式来描述一个神经网络架构？这涉及到定义架构的组成元素（如层类型、连接方式、超参数等）以及它们之间的关系。
• 编码方案 (Encoding Scheme): 如何将架构表示转化为具体的编码形式，例如字符串、向量、图结构等？这涉及到选择合适的编码格式，以便算法能够有效地读取、解析和操作架构信息。

一个优秀的编码方式，应该具备以下几个核心特性：

• 完备性 (Completeness): 能够完整地表示搜索空间中所有可能的神经网络架构，避免遗漏潜在的优秀架构。
• 有效性 (Effectiveness): 能够高效地将架构信息传递给搜索算法，方便算法进行搜索、评估和优化操作。
• 可区分性 (Discriminability): 不同的编码应该对应不同的神经网络架构，避免编码歧义，确保搜索算法能够精确地定位到目标架构。
• 可扩展性 (Scalability): 能够适应不同规模和复杂度的搜索空间，支持搜索空间的灵活扩展和定制。

2.4.2 编码方式的演进：从手工特征到自动学习

早期的 NAS 研究，常常借鉴人工特征工程的思路，采用手工设计的编码方式。例如，将神经网络架构的关键特征（如网络深度、宽度、卷积核大小等）提取出来，组成一个固定长度的特征向量作为编码。这种方法简单直观，易于实现，但存在明显的局限性：

• 依赖人工经验: 特征的选择和设计高度依赖人工经验，难以覆盖架构空间的全部信息，容易引入人为偏见。
• 表达能力有限: 固定长度的特征向量难以表达复杂多变的神经网络架构，尤其是在搜索空间规模较大时，容易造成信息丢失。
• 泛化能力不足: 针对特定任务设计的特征，难以泛化到其他任务或搜索空间。

随着 NAS 技术的不断发展，研究者们逐渐意识到，手工设计的编码方式难以满足日益增长的需求。因此，自动学习编码方式的思想应运而生。其核心思想是，让算法自身学习如何有效地编码神经网络架构，从而摆脱人工特征工程的束缚，提升编码的效率和泛化能力。

2.4.3 主流编码方式详解：百花齐放，各擅胜场

当前，NAS 领域涌现出各种各样的搜索空间编码方式，它们各有优缺点，适用于不同的场景。根据编码方式的特点，我们可以将其大致分为以下几类：

2.4.3.1 直接编码 (Direct Encoding)：直观映射，简单高效

直接编码是最直观、最简单的一种编码方式，它将神经网络架构的各个组成部分（如层类型、连接方式、超参数等）直接映射到编码的各个维度。常见的直接编码方式包括：

• 固定长度字符串/向量 (Fixed-length String/Vector): 将神经网络架构编码成固定长度的字符串或向量。每个位置代表架构的一个特定属性，例如，第一个位置代表第一层的类型，第二个位置代表第二层的类型，以此类推。

  例如，我们可以用一个长度为 5 的字符串来表示一个 5 层的 CNN 架构，其中每个字符代表一层的类型：

  "CV-MP-RE-FC-SM"
  ​

  • CV: 卷积层 (Convolutional Layer)
  • MP: 最大池化层 (Max Pooling Layer)
  • RE: ReLU 激活函数 (ReLU Activation Function)
  • FC: 全连接层 (Fully Connected Layer)
  • SM: Softmax 输出层 (Softmax Output Layer)

  优点:

  • 简单易懂: 编码方式直观明了，易于理解和实现。
  • 高效搜索: 固定长度的编码便于算法进行高效的搜索和优化，例如，可以使用遗传算法、进化策略等。

  缺点:

  • 表达能力受限: 固定长度的编码难以表达复杂和变长的神经网络架构，例如，无法表示不同层之间复杂的连接关系。
  • 搜索空间僵化: 固定长度限制了搜索空间的灵活性，难以探索更广阔的架构空间。
  • 冗余编码: 对于某些架构，可能存在冗余编码，例如，某些位置的编码可能并不影响最终的架构。

  适用场景: 搜索空间相对简单、架构结构相对固定的场景，例如，搜索卷积神经网络的层类型和顺序，或者循环神经网络的单元类型和堆叠方式。

  图示:

• 可变长度字符串/向量 (Variable-length String/Vector): 允许编码的长度根据神经网络架构的复杂度而变化。例如，可以使用递归神经网络 (RNN) 来生成可变长度的架构编码。

  例如，我们可以使用一个可变长度的字符串来表示一个具有跳跃连接的 CNN 架构：

  "CV(3x3)-RE-MP-CV(5x5)-RE-ADD(1,3)-FC-SM"
  ​

  • ADD(1,3): 表示将第 1 层和第 3 层的输出进行加法操作 (跳跃连接)。

  优点:

  • 表达能力增强: 可变长度的编码能够表达更复杂和变长的神经网络架构，例如，可以表示不同层之间复杂的连接关系、循环结构等。
  • 搜索空间灵活: 可变长度允许搜索空间更加灵活，可以探索更广阔的架构空间。

  缺点:

  • 搜索难度增加: 可变长度的编码使得搜索空间更加复杂，增加了搜索算法的难度。
  • 解码复杂性: 可变长度的编码解码过程可能更加复杂，需要设计相应的解码器。

  适用场景: 搜索空间相对复杂、架构结构灵活多变的场景，例如，搜索具有跳跃连接、循环结构等复杂拓扑结构的神经网络架构。

  图示:

2.4.3.2 间接编码 (Indirect Encoding)：规则驱动，抽象表达

间接编码并非直接描述神经网络架构的组成元素，而是定义一套生成架构的规则或语法，通过编码这些规则来间接地表示架构。常见的间接编码方式包括：

• 基于语法的编码 (Grammar-based Encoding): 使用形式化语法（如上下文无关文法）来描述神经网络架构的生成规则。编码本身是一系列语法的推导步骤，通过执行这些步骤，可以生成相应的神经网络架构。

  例如，我们可以定义如下的语法规则来生成 CNN 架构：

  <Network> ::= <Layer> | <Layer> <Network>
  <Layer> ::= <ConvLayer> | <PoolingLayer> | <ActivationLayer> | <FCLayer>
  <ConvLayer> ::= CONV(<FilterSize>, <NumFilters>, <Stride>)
  <PoolingLayer> ::= POOL(<PoolSize>, <Stride>)
  <ActivationLayer> ::= RELU | SIGMOID | TANH
  <FCLayer> ::= FC(<NumNeurons>)
  ​

  一个基于语法的编码可能如下：

  [<Network> -> <Layer> <Network>,
   <Layer> -> <ConvLayer>,
   <ConvLayer> -> CONV(3x3, 64, 1),
   <Network> -> <Layer> <Network>,
   <Layer> -> <PoolingLayer>,
   <PoolingLayer> -> POOL(2x2, 2),
   ...]
  ​

  执行这些推导步骤，就可以生成一个具体的 CNN 架构。

  优点:

  • 结构化表达: 基于语法的编码能够清晰地表达神经网络架构的结构和生成过程。
  • 搜索空间约束: 语法规则可以有效地约束搜索空间，避免生成无效或不合理的架构。
  • 可解释性强: 基于语法的编码具有较强的可解释性，可以分析架构的生成过程和设计原理。

  缺点:

  • 语法设计复杂: 设计合适的语法规则需要一定的专业知识和经验，并且可能比较耗时。
  • 搜索空间受限: 语法规则虽然可以约束搜索空间，但也可能限制了搜索空间的探索范围，导致错过一些潜在的优秀架构。
  • 编码解码复杂: 基于语法的编码和解码过程相对复杂，需要设计相应的语法解析器和生成器。

  适用场景: 需要对搜索空间进行结构化约束、强调架构可解释性的场景，例如，搜索具有特定结构模式（如残差连接、密集连接）的神经网络架构。

  图示:

• 基于图的编码 (Graph-based Encoding): 将神经网络架构表示成图结构，其中节点代表计算单元（如层、操作），边代表数据流或连接关系。编码本身是对图结构的描述，例如，邻接矩阵、邻接列表等。

  例如，我们可以使用有向无环图 (DAG) 来表示一个神经网络架构，节点代表层，边代表层之间的连接。

  图示:

优点:

• 灵活表达: 基于图的编码能够灵活地表达各种复杂的神经网络架构，例如，可以表示具有跳跃连接、循环连接、多分支结构等复杂拓扑结构的架构。
• 图算法支持: 基于图的编码便于利用现有的图算法进行架构分析、优化和搜索，例如，可以使用图神经网络 (GNN) 来预测架构的性能。
• 可视化友好: 图结构具有天然的可视化优势，便于理解和分析神经网络架构。

缺点:

• 编码复杂度高: 图结构的编码和解码过程相对复杂，需要设计相应的图编码器和解码器。
• 搜索空间庞大: 图结构的搜索空间非常庞大，需要高效的搜索算法才能找到最优或近优的架构。
• 图同构问题: 不同的图结构可能表示相同的神经网络架构，需要解决图同构问题，避免冗余搜索。

适用场景: 搜索具有复杂拓扑结构的神经网络架构，例如，搜索神经架构搜索算法自身使用的控制网络结构。

图示:

2.4.3.3 基于搜索空间的编码 (Search Space Aware Encoding)：量身定制，高效探索

这类编码方式充分考虑搜索空间的特性，针对特定的搜索空间进行定制化设计，旨在提高搜索效率和探索能力。

• Cell-based 编码 (Cell-based Encoding): 在 NASNet, DARTS 等经典工作中被广泛采用。其核心思想是将神经网络架构分解为一系列重复的单元 (Cell)，每个单元内部的结构由一个小的有向无环图 (DAG) 表示。搜索空间的主要任务是搜索单元内部的结构，然后将这些单元堆叠起来构成最终的神经网络架构。编码通常描述单元内部节点之间的连接方式和每个节点上的操作类型。

  优点:

  • 搜索空间缩小: 通过搜索单元结构，极大地缩小了搜索空间，降低了搜索难度。
  • 架构可迁移: 搜索到的单元结构可以灵活地应用于不同的数据集和任务，具有较强的可迁移性。
  • 结构化表达: 单元结构具有清晰的结构化表达，便于理解和分析。

  缺点:

  • 单元设计依赖经验: 单元的设计仍然需要一定的专业知识和经验。
  • 全局结构固定: 单元堆叠方式通常是固定的，限制了全局架构的灵活性。

  适用场景: 图像分类、图像识别等任务，尤其是在计算资源有限的情况下，Cell-based 编码是一种非常有效的选择。

  图示:

• Block-based 编码 (Block-based Encoding): 与 Cell-based 编码类似，Block-based 编码将神经网络架构分解为一系列可重复使用的 Block。不同之处在于，Block 的粒度可能比 Cell 更大，可以包含更复杂的结构，例如，一个 Block 可以代表一个残差连接块、一个密集连接块等。编码通常描述 Block 的内部结构和 Block 之间的连接方式。

  优点:

  • 模块化设计: Block-based 编码采用模块化设计思想，便于构建和扩展复杂的神经网络架构。
  • 可重用性强: Block 可以被多次重复使用，降低了搜索空间的大小。
  • 灵活性高: Block 的内部结构和 Block 之间的连接方式可以灵活地定制，提高了搜索空间的灵活性。

  缺点:

  • Block 设计挑战: 如何设计合适的 Block 结构是一个挑战，需要根据具体的任务和数据集进行选择。
  • 搜索空间仍然较大: 即使使用了 Block，搜索空间仍然可能非常庞大，需要高效的搜索算法。

  适用场景: 各种深度学习任务，尤其是在需要构建复杂网络结构的情况下，Block-based 编码是一种非常有用的工具。

  图示:

2.4.3.4 基于嵌入的编码 (Embedding-based Encoding)：语义表达，连续空间

这类编码方式将神经网络架构映射到一个连续的嵌入空间中，利用向量来表示架构，并利用嵌入空间中的几何关系来反映架构之间的相似性。

• 神经网络嵌入 (Neural Network Embedding): 使用神经网络（如图神经网络、自编码器）将神经网络架构编码成一个低维的嵌入向量。嵌入向量可以捕捉架构的语义信息，例如，相似的架构在嵌入空间中距离更近。

  优点:

  • 语义表达能力强: 嵌入向量能够捕捉神经网络架构的语义信息，例如，功能相似的架构在嵌入空间中距离更近。
  • 连续搜索空间: 嵌入空间是一个连续空间，可以使用基于梯度的优化算法进行搜索，例如，可以使用强化学习、进化算法等。
  • 可视化分析: 嵌入向量可以将高维的神经网络架构映射到低维空间，便于可视化和分析。

  缺点:

  • 训练开销大: 训练神经网络嵌入需要大量的计算资源和数据。
  • 嵌入质量影响搜索: 嵌入向量的质量直接影响搜索效果，需要仔细设计嵌入网络和训练策略。
  • 解码困难: 将嵌入向量解码成具体的神经网络架构可能比较困难，需要设计相应的解码器。

  适用场景: 需要利用神经网络的语义信息进行架构搜索的场景，例如，搜索具有特定功能的神经网络架构。

  图示:

2.4.4 编码方式的选择：因地制宜，量体裁衣

选择合适的搜索空间编码方式，需要综合考虑以下几个因素：

• 搜索空间的大小和复杂度: 对于较小的、结构简单的搜索空间，可以直接采用固定长度的字符串/向量编码。对于较大的、结构复杂的搜索空间，则需要采用更具表达能力的编码方式，例如，基于语法的编码、基于图的编码或基于嵌入的编码。
• 搜索算法的特点: 不同的搜索算法对编码方式的要求不同。例如，基于梯度的优化算法通常需要连续的编码空间，而进化算法则可以处理离散的编码空间。
• 计算资源的限制: 训练神经网络嵌入需要大量的计算资源，如果计算资源有限，则需要选择更轻量级的编码方式。
• 任务的特点: 不同的任务对神经网络架构的要求不同。例如，图像分类任务通常可以使用 Cell-based 编码，而自然语言处理任务可能需要更复杂的循环神经网络架构。
• 可解释性的需求: 如果需要对搜索到的神经网络架构进行分析和解释，则需要选择具有较强可解释性的编码方式，例如，基于语法的编码。

总而言之，选择编码方式没有绝对的优劣之分，只有是否适合特定场景之说。我们需要根据实际情况，综合考虑各种因素，选择最合适的编码方式，才能构建高效且富有成效的 NAS 系统。

2.4.5 总结与展望：编码的未来，智能的起点

搜索空间的编码方式是 NAS 的核心要素之一，它直接影响着搜索效率、探索能力和最终寻得架构的优劣。随着 NAS 技术的不断发展，编码方式也在不断演进，从最初的手工特征到现在的自动学习，从简单的字符串/向量到复杂的图结构和嵌入向量。

未来，我们可以预见到以下几个编码方式的发展趋势：

• 自动化编码学习: 将编码方式的学习过程自动化，让算法自身学习如何有效地编码神经网络架构，从而摆脱人工干预，提升编码的效率和泛化能力。
• 混合编码策略: 将不同的编码方式结合起来，充分发挥各自的优势，例如，可以将基于语法的编码和基于嵌入的编码结合起来，既能保证架构的结构化表达，又能利用嵌入向量的语义信息。
• 自适应编码方式: 根据搜索过程的反馈，动态地调整编码方式，例如，可以根据搜索到的架构的性能，调整语法规则或嵌入网络的参数。
• 面向特定硬件的编码: 将硬件平台的特性纳入编码方式的设计中，例如，可以考虑硬件的计算能力、存储容量、通信带宽等因素，从而搜索到更适合特定硬件平台的神经网络架构。

搜索空间编码方式的未来，将是更加智能、更加高效、更加灵活的。它将为 NAS 技术的发展提供更强大的动力，助力我们寻找到更加卓越的神经网络架构，推动人工智能技术的不断进步。正如语言是人类文明的基石，高效而智能的编码方式，也将是 NAS 实现真正自动化的起点。