3.2内积

文档摘要

3.2 内积内积的引入是后面若干几何直觉上的概念，如向量长度、向量间夹角的铺垫。引入内积的一个主要目的是确认两个向量是否正交。 3.2.1 点积我们已经熟悉一些特殊形式的点积，如标量积或$\mathbb{R}^{n}$中的点积，由下面的式子给出： $$ x^{\top}y = \sum\limits{i=1}^{n} x{i}y{i}. \tag{3.5} $$ 在本书中，我们称这样的内积形式为点积。需要注意的是，我们将介绍的内积是更加一般的概念，只要满足一些条件即可。 3.2.2 一般的点积回忆在 2.7 节中提到的线性映射：我们可以利用其性质对加法和标量乘法进行重排。一个$V$上的双线性映射$\Omega$接受两个参数，并对其中的任意一个参数保持线性（译者注：即双重线性）。

3.2 内积

内积的引入是后面若干几何直觉上的概念，如向量长度、向量间夹角的铺垫。

引入内积的一个主要目的是确认两个向量是否正交。

3.2.1 点积

我们已经熟悉一些特殊形式的点积，如标量积或\mathbb{R}^{n}中的点积，由下面的式子给出：

x^{\top}y = \sum\limits_{i=1}^{n} x_{i}y_{i}. \tag{3.5}

在本书中，我们称这样的内积形式为点积。需要注意的是，我们将介绍的内积是更加一般的概念，只要满足一些条件即可。

3.2.2 一般的点积

回忆在 2.7 节中提到的线性映射：我们可以利用其性质对加法和标量乘法进行重排。
一个V上的双线性映射\Omega接受两个参数，并对其中的任意一个参数保持线性（译者注：即双重线性）。任取x, y, z \in \Omega，\lambda, \psi \in \mathbb{R}，我们有

\begin{align} \Omega(\lambda x + \psi y, z) = \lambda \cdot \Omega(x, z) + \psi \cdot \Omega(y, z), \tag{3.6}\\ \Omega(x, \lambda y + \psi z) = \lambda \cdot \Omega(x, y) + \psi \cdot \Omega(x, z). \tag{3.7}\\ \end{align}

在式中，（式 3.6）表示函数对第一个变量线性；（式 3.7）表示函数对第二个变量线性（见式 2.87）。

定义 3.2
设V为线性空间，双线性映射\Omega: V \times V \rightarrow \mathbb{R}将两个V中的向量映射到一个实数，则

若对所有x, y \in V，都有\Omega(x, y) = \Omega(y, x)，也即两个变量可以调换顺序，则称\Omega为对称的

若对所有x \in V，都有

\forall x \in V \setminus \{ 0 \}: \Omega(x, x) > 0, ~~ ~~ \Omega(0, 0) = 0, \tag{3.8}

则称\Omega为正定的。

定义 3.3
设V为线性空间，双线性映射\Omega: V \times V \rightarrow \mathbb{R}将两个V中的向量映射到一个实数，则

对称且正定的双线性映射\Omega叫做V上的一个内积，并简写\Omega(x, y)为\left\langle x, y \right\rangle。

二元组(V, \left\langle \cdot, \cdot \right\rangle)称为内积空间或装配有内积的（实）线性空间。特别地，如果内积采用（式 3.5）中定义的点积，则称(V, \left\langle \cdot, \cdot \right\rangle)为 Euclid 线性空间（译者注：简称欧氏空间）

本书中我们称这些空间为内积空间。

示例 3.3（不是点积的内积）
考虑V = \mathbb{R}^{2}，定义下面的内积：

\left\langle x, y \right\rangle := x_{1}y_{1} - (x_{1}y_{2} + x_{2}y_{1}) + 2x_{2}y_{2}, \tag{3.9}

可以验证这是一个与点积不同的内积，证明留作练习。

3.2.3 对称和正定矩阵

对称和正定矩阵在机器学习中十分重要，它们是由内积定义的。在 4.3 节中，我们在讨论矩阵分解时将会回到这个概念。在 12.4 节中，对称和半正定矩阵还在核的定义中起到关键作用。假设n维线性空间V装配有内积 \left\langle \cdot, \cdot \right\rangle: V \times V \rightarrow \mathbb{R}（参见定义 3.3）并取V中的一个基（已排序）B = (b_{1}, \dots, b_{n})，在 2.6.1 节中我们知道任意x, y \in V，可以找到\lambda_{i}, \psi_{i} \in \mathbb{R}, i=1, \dots, n，使得两个向量可以写成基B中向量的线性组合，即\displaystyle x = \sum\limits_{i=1}^{n} \psi_{i}b_{i} \in V，\displaystyle y = \sum\limits_{j=1}^{n} \lambda_{j}b_{j} \in V。由内积的双线性性，对所有的x, y \in V，有

\left\langle x, y \right\rangle = \left\langle \sum\limits_{i=1}^{n} \psi_{i}b_{i}, \sum\limits_{j=1}^{n} \lambda_{j}b_{j} \right\rangle = \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{n} \psi_{i} \lambda_{j} \left\langle b_{i}, b_{j} \right\rangle = \hat{x}^{\top} A \hat{y},

其中 A_{i, j} := \left\langle b_{i}, b_{j} \right\rangle（译者注：这就是线性空间V中的一个度量矩阵），\hat{x}和\hat{y}为原向量在基B下的坐标。
这意味着内积 \left\langle \cdot, \cdot \right\rangle被矩阵A唯一确定，且由于内积具有对称性，不难看出A是对称矩阵。进一步地，根据内积的正定性，我们可以得出下面的结论：

\forall x \in V \setminus \{ 0 \}: x^{\top}Ax > 0. \tag{3.11}

定义 3.4（对称正定矩阵）
一个n级对称矩阵A \in \mathbb{R}^{n \times n}若满足（式 3.11），则叫做对称正定矩阵（或仅称为正定矩阵）。如果只满足将（式 3.11）中的不等号改成\geqslant的条件，则称为对称半正定矩阵

示例 3.4（对称正定矩阵）
考虑下面两个矩阵

A_{1} = \left[ \begin{matrix} 9 & 6 \\ 6 & 5 \end{matrix}\right] , \quad A_{2} = \left[ \begin{matrix} 9 & 6 \\ 6 & 3 \end{matrix} \right], \tag{3.12}

其中 A_{1} 是对称且正定的，因为它不仅对称（译者注：这显而易见），而且对于任意 x \in \mathbb{R}^{2} - \{ 0 \} 都有，

\begin{align} x^{\top}A_{1}x &= \left[ \begin{matrix} x_{1} & x_{2} \end{matrix}\right]\left[ \begin{matrix} 9 & 6 \\ 6 & 5 \end{matrix}\right]\left[ \begin{matrix} x_{1} \\ x_{2} \end{matrix}\right] \\\ &= 9x_{1}^{2} + 12x_{1}x_{2} + 5x_{2}^{2} \\ &= (3x_{1} + 2x_{2})^{2} + x_{2}^{2} > 0.\end{align} \tag{3.13}

相反地，A_{2}不是正定矩阵。如果取x = [2, -3]^{\top}，可以验证二次型x^\top Ax是负数。

假设A \in \mathbb{R}^{n \times n}是一个对称正定矩阵，则它可以定义一个在基B下的内积：

\left\langle x, y \right\rangle = \hat{x}^{\top}A\hat{y}, \tag{3.15}

其中x, y \in V。

定理 3.5
考虑一个有限维实线性空间V及它的一个基（有序）B，双线性函数 \left\langle \cdot, \cdot \right\rangle: V \times V \rightarrow R是其上的一个内积当且仅当有一个对称正定矩阵A \in \mathbb{R}^{n \times n}，与之对应，即

\left\langle x, y \right\rangle = \hat{x}^{\top} A \hat{y}.

下面再列举两个对称正定矩阵的性质

矩阵A的零空间（核）只包含零向量，因为若x不为零，则有 x^{\top}Ax>0，于是Ax \ne 0。
矩阵A的所有对角元（a_{ii}，i=1, \dots, n）都是正数，因为 a_{i i} = e_{i}^{\top} Ae_{i} > 0，其中e是B中第i个基向量。