5.7高阶导数

文档摘要

5.7 高阶导数到目前为止，我们讨论了梯度，即一阶导数。有时，我们关心更高阶的导数，例如当我们使用 Newton 法进行优化时，需要二阶导数（Nocedal and Wright, 2006）。在 5.1.1节中，我们讨论了Taylor 级数，即使用多项式近似函数。在多变量情况下，我们可以做同样的事。在接下来我们将详细讨论这一点，但在此之前，我们需要先规定一些记号。考虑一个函数 $f:\mathbb{R}^{2}\to \mathbb{R}$ 它有两个输入变量 $x,y$。

5.7 高阶导数

到目前为止，我们讨论了梯度，即一阶导数。有时，我们关心更高阶的导数，例如当我们使用 Newton 法进行优化时，需要二阶导数（Nocedal and Wright, 2006）。在 5.1.1节中，我们讨论了Taylor 级数，即使用多项式近似函数。在多变量情况下，我们可以做同样的事。在接下来我们将详细讨论这一点，但在此之前，我们需要先规定一些记号。

考虑一个函数 f:\mathbb{R}^{2}\to \mathbb{R} 它有两个输入变量 x,y。我们使用以下符号表示高阶偏导数（和梯度）：

\displaystyle \frac{\partial^{2}f}{\partial x^{2}} 是 f 关于 x 的二阶偏导数
\displaystyle \frac{\partial^{n}f}{\partial x^{n}} 是 f 关于 x 的 n 阶偏导数
\displaystyle \frac{\partial^{2}f}{\partial y\partial x}=\frac{\partial}{\partial y}(\frac{\partial f}{\partial x}) 是先对 x 求偏导，然后对 y 求偏导得到的偏导数
\displaystyle \frac{\partial^{2}f}{\partial x\partial y} 是先对 y 求偏导，然后对 x 求偏导得到的偏导数。

Hessian 矩阵是所有二阶偏导数的集合。

如果 f(x,y) 是二阶（连续）可微函数，那么 \frac{\partial^{2}f}{\partial x\partial y}=\frac{\partial^{2}f}{\partial y\partial x}，二阶偏导和求导顺序无关。相应的 Hessian 矩阵

H=\left[\begin{array}{cc}\displaystyle \frac{\partial^{2}f}{\partial x^{2}}&\displaystyle \frac{\partial^{2}f}{\partial x\partial y}\\\displaystyle \frac{\partial^{2}f}{\partial x\partial y}&\displaystyle \frac{\partial^{2}f}{\partial y^{2}}\end{array}\right] \tag{5.147}$$是对称的。 Hessian 矩阵还可以表示为 $\nabla_{x,y}^{2}f(x,y)$。一般地，对于 $x\in \mathbb{R}^{n}$，函数 $f:\mathbb{R}^{n}\to \mathbb{R}$ 的 Hessian 矩阵是一个 $n\times n$ 矩阵。 Hessian 矩阵衡量了函数在 $(x,y)$ 附近的局部曲率。 > **注（向量场的 Hessian 矩阵）**： > 如果 $f:\mathbb{R}^{n}\to \mathbb{R}^{m}$ 是一个向量场， Hessian 矩阵是一个 $(m\times n\times n)$-张量。