第七章连续优化

文档摘要

第七章连续优化机器学习算法跑在计算机上，因此一切优化相关的数学设定需要被翻译为数值优化的方法。本章讲解了用于训练机器学习模型的简单数值方法。要训练一个机器学习模型，往往需要寻找一个最佳的参数集合，何谓 “最佳” 由目标函数或概率模型所确定（见本书的后半部分）。给定一个目标函数，我们会用优化算法找到它的最值（以及对应的最优参数集合）。图 7.1 本章的概念地图本章包括连续优化中的两个主要分支——无约z束优化和约束优化，并总是假定目标函数是可微的（见第五章），这让我们能得到目标函数在空间中任意点出的梯度——这可以帮助我们找到最值点。