12.5数值解

文档摘要

12.5 数值解我们通过探讨如何根据第7章介绍的概念来表达本章中推导的问题，来结束对支持向量机（SVMs）的讨论。我们考虑两种不同的方法来找到SVM的最优解。首先，我们考虑SVM的损失视角（8.2.2节），并将其表达为一个无约束优化问题。然后，我们将原始和对偶SVM的约束版本表达为标准形式的二次规划（7.3.2节）。考虑SVM的损失函数视角（12.31）。这是一个凸无约束优化问题，但合页损失（12.28）不可微。因此，我们采用次梯度方法来解决它。然而，合页损失几乎在所有地方都是可微的，除了合页$t=1$处的单点。在这一点上，梯度是一个介于0和-1之间的可能值集。