7.3凸优化

文档摘要

7.3 凸优化我们将目光聚焦于一类能保证全局最优解的特殊优化问题。当目标函数 $f(\cdot)$ 是凸函数，且约束函数 $g(\cdot)$ 和 $h(\cdot)$ 定义的集合为凸集时，这类问题称为凸优化问题。凸优化问题具有强对偶性：对偶问题的最优解与原问题完全一致。虽然机器学习文献常模糊凸函数与凸集的界限，但上下文通常能提供明确指引。定义 7.2（凸集）若集合 $\mathcal{C}$ 满足：对任意 $x, y\in \mathcal{C}$ 和标量 $\theta \in [0,1]$，有 $$\theta x + (1-\theta)y \in \mathcal{C}. \tag{7.29}$$ 则称 $\mathcal{C}$ 为凸集。