3.5 基于贝叶斯优化的搜索策略

文档摘要

3.5 基于贝叶斯优化的搜索策略第三章：NAS 的核心要素：搜索策略 (Search Strategy) 3.5 基于贝叶斯优化的搜索策略 (Bayesian Optimization for NAS) 在神经网络架构搜索（NAS）的广阔天地中，搜索策略犹如指引探险家前进的罗盘，决定了我们如何在浩如烟海的架构空间中高效寻觅到性能卓越的网络结构。前文中，我们已经探讨了随机搜索、网格搜索以及进化算法等搜索策略，它们各有千秋，但在面对 NAS 固有的挑战——评估成本高昂时，往往显得力不从心。为了克服这一难题，贝叶斯优化 (Bayesian Optimization, BO) 作为一种强大的全局优化方法，应运而生，为 NAS 搜索策略带来了新的曙光。