3.5正交基

3.5 正交基

在2.6.1节中，我们讨论了基向量的性质，我们发现在n维空间中，我们需要n个基向量（也就是n个线性无关的向量）。在3.3和3.4两节中，我们使用内积计算向量的长度和向量之间的夹角。在本节中，我们将讨论基向量互相垂直且长度为1这一特殊情况，我们称其为正交基。

我们不妨使用更加严谨的语言介绍它们：

定义 3.9 （正交基）
考虑一个n维线性空间V和它上面的一个基\{ b_{1}, \dots, b_{n} \}，如果

\begin{align}\left\langle b_{i}, b_{j} \right\rangle &= 0, & i \ne j \tag{3.33}\\\left\langle b_{i}, b_{i} \right\rangle &= 1 \tag{3.34}\end{align}

对于所有的i, j = 1, \dots, n都成立，那么\{ b_{1}, \dots, b_{n} \}就叫做标准正交基（orthonormal basis，ONB），注意所有的向量的长度均为1。假如这个基只满足(3.33)，则它就叫做正交基（orthogonal basis）。

让我们回忆一下，在2.6.1节中我们使用Gauss消元法寻找一个向量组张成空间的基的过程。假设我们有一个未标准化（unnormalized）且非正交的向量组\{ \tilde{b}_{1}, \dots, \tilde{b}_{n} \}，我们将其堆叠成一个矩阵\tilde{B} = [\tilde{b}_{1}, \dots, \tilde{b}_{n}]，然后在增广矩阵[\tilde{B}\tilde{B}^{\top}|\tilde{B}]上应用Gauss消元法，就可以得到一个标准正交基。像这样迭代地构造正交基\{ b_{1}, \dots, b_{n} \}的方法叫做Gram-Schmidt正交化过程。

示例 3.8（正交基）
Euclid空间\mathbb{R}^{n}上的标准基是标准正交基，其中内积为两个向量的点积。
特别地，在\mathbb{R}^{2}中，两个向量

b_{1} = \frac{1}{\sqrt{ 2 }} \left[ \begin{matrix}1\\1\end{matrix} \right], \quad b_{2} = \frac{1}{\sqrt{ 2 }} \left[ \begin{matrix} 1\\-1 \end{matrix} \right] \tag{3.35}

组成一个正交基，因为b_{1}^{\top}b_{2} =0且\|b_{1}\| = \|b_{2}\| = 1。

我们将在第十章和第十二章介绍支持向量机和主成分分析时深入讲解标准正交基这一概念。