2.4线性空间

2.4 线性空间

到目前为止，我们已经研究了线性方程组及其解法（第2.3节）。我们看到线性方程组可以用矩阵-向量表示法紧凑地表示为 Ax = b。接下来，我们将更深入地研究线性空间，即向量所在的结构化空间。在本章开头，我们非正式地将向量定义为可以相加并能被标量乘的数学对象，并且结果仍然是相同类型的对象。现在，我们准备正式化这一概念，并从群的概念开始，群是集合和在这些元素上定义的操作，它保持了集合的某种结构。

2.4.1 群

群在计算机科学中扮演着重要角色。除了为集合上的操作提供基本框架外，它们还广泛应用于密码学、编码理论和图形学。

定义2.7（群）

考虑一个集合 \mathcal{G} 和一个在 G 上定义的二元运算 \otimes: \mathcal{G} \times \mathcal{G} \to \mathcal{G}。那么 G := (\mathcal{G}, \otimes) 被称为一个群，如果满足以下条件：

1. 关于 \otimes 的封闭性：\forall x, y \in \mathcal{G}: x \otimes y \in \mathcal{G}
2. 结合律：\forall x, y, z \in \mathcal{G}: (x \otimes y) \otimes z = x \otimes (y \otimes z)
3. 单位元：\exists e \in \mathcal{G} \forall x \in \mathcal{G}: x \otimes e = x 且 e \otimes x = x
4. 逆元：\forall x \in \mathcal{G} \exists y \in \mathcal{G}: x \otimes y = e 且 y \otimes x = e，其中 e 是单位元。我们通常用 x^{-1} 表示 x 的逆元。

如果此外 \forall x, y \in \mathcal{G}: x \otimes y = y \otimes x，则 G = (\mathcal{G}, \otimes) 是一个Abel 群（交换群）。

注释
逆元是相对于操作 \otimes 定义的，并不一定就是所谓的 \displaystyle \frac{1}{x}。

例2.10（群）

让我们来看一些具有相关操作的集合示例，并检查它们是否是群：

• (\mathbb{Z}, +) ，即整数集 \mathbb{Z} 关于整数加法 + 构成一个Abel 群。
• (\mathbb{N}_0, +) ，即含有 0 的自然数集关于自然数的加法 + 不是一个群：尽管 (\mathbb{N}_0, +) 具有单位元 \mathbb{N}_0 := \mathbb{N} \cup \{0\}（即0），但缺少逆元：例如我们找不到 1 的逆元（-1 并不在自然数集中）。
• (\mathbb{Z}, \cdot) ，即整数集关于整数乘法不是一个群：尽管 (\mathbb{Z}, \cdot) 包含单位元（即1），但除了 z = \pm 1 外，其他整数缺少逆元。
• (\mathbb{R}, \cdot) ，即实数集关于实数乘法不是一个群，因为0没有逆元。
• (\mathbb{R} \setminus \{0\}, \cdot) ，即去掉 0 的实数集关于实数乘法成为一个 Abel 群。
• (\mathbb{R}^n, +) 、 (\mathbb{Z}^n, +)，其中 n \in \mathbb{N} ，如果“+”定义为对应分量相加，即
  (x_1, \dots, x_n) + (y_1, \dots, y_n) = (x_1 + y_1, \dots, x_n + y_n) \tag{2.61}
  则它们是Abel 群。此时，(x_1, \dots, x_n)^{-1} := (-x_1, \dots, -x_n) 是逆元，而 e = (0, \dots, 0) 是单位元。
• (\mathbb{R}^{m \times n}, +) 是Abel 群（按分量加法定义，如(2.61)）。
• 让我们仔细分析 n\times n 矩阵构成的集合和上面的矩阵乘法运算，也就是 (\mathbb{R}^{n \times n}, \cdot)：矩阵乘法的封闭性和结合性直接由定义得出。
  • 单位元：单位矩阵 I_n 是 (\mathbb{R}^{n \times n}, \cdot) 中的单位元。
  • 逆元：如果逆存在（即 A 是可逆的），则 A^{-1} 是 A \in \mathbb{R}^{n \times n} 的逆元。在这种情况下，(\mathbb{R}^{n \times n}, \cdot) 是一个群，称为一般线性群（General Linear Group）。

（译者注：严格来说，我们在此滥用了符号 + 和 \cdot 但因为此例中出现的都是我们熟知的数学对象，读者可以轻易地推断出它是哪一种加法和乘法。）

定义2.8（一般线性群）

可逆矩阵 A \in \mathbb{R}^{n \times n} 的集合关于矩阵乘法定义为(2.13)，称为一般线性群，记作 GL(n, \mathbb{R})。然而，由于矩阵乘法不是交换的，因此该群不是Abel 群。

2.4.2 线性空间

在讨论群时，我们研究了集合 \mathcal{G} 和 \mathcal{G} 上的内操作。接下来，我们将考虑包含内操作“+”和外操作“·”（标量乘法）的集合。我们可以将内操作视为一种加法形式，而外操作则为一种缩放形式。注意，内操作和外操作与内积和外积无关。

定义2.9（线性空间）

一个实值线性空间 V 是这些资料 (V, \mathbb{R}, +, \cdot)，V 上具有两个运算：

\begin{align}+: \mathcal{V} \times \mathcal{V} &\to \mathcal{V} & 加法 \tag{2.62} \\\cdot: \mathbb{R} \times \mathcal{V} &\to \mathcal{V} & 纯量乘法 \tag{2.63}\end{align}

其中：

1. (\mathcal{V}, +) 是 Abel 群。
2. 分配律：

• \forall \lambda \in \mathbb{R}, x, y \in V: \lambda \cdot (x + y) = \lambda \cdot x + \lambda \cdot y
• \forall \lambda, \psi \in \mathbb{R}, x \in V: (\lambda + \psi) \cdot x = \lambda \cdot x + \psi \cdot x

3. 标量乘法的结合律：\forall \lambda, \psi \in \mathbb{R}, x \in V: \lambda \cdot (\psi \cdot x) = (\lambda \psi) \cdot x
4. 标量乘法单位元：\forall x \in V: 1 \cdot x = x

集合 V 中的元素 x 称为向量。集合 V 中的单位元称为零向量，记作 \boldsymbol{0} （在 Euclid 空间中可以写为 [0, \dots, 0]^\top ），而运算 “+” 称为向量加法。集合 \mathbb{R} 中的元素 \lambda 称为标量，而运算 “\cdot” 称为标量乘法。注意，标量乘法与标量积不同，我们将在第3.2节中讨论。（译者注：在较早的资料中，常常将上面的数学对象为线性空间，而将有限维线性空间（Euclid 空间）称为向量空间。如今的资料中“向量空间”和“线性空间”的含义相同。）

注释

我们在此未定义 “向量乘法” \boldsymbol{a} \boldsymbol{b}，其中 \boldsymbol{a}, \boldsymbol{b} \in \mathbb{R}^n。理论上，我们可以定义逐元素乘法（即 Hadamard 积），使得 \boldsymbol{c} = \boldsymbol{a} \boldsymbol{b} 且 c_j = a_j b_j。这种“数组乘法”在许多编程语言中很常见，但在标准矩阵乘法规则下，它在数学上意义有限。通过将向量视为 n \times 1 矩阵（我们通常这样做），我们可以使用矩阵乘法定义(2.13)。然而，向量的维度不匹配。只有以下向量乘法是定义的：

• \boldsymbol{a} \boldsymbol{b}^\top \in \mathbb{R}^{n \times n}（外积）
• \boldsymbol{a}^\top \boldsymbol{b} \in \mathbb{R}（内积/标量积/点积）

例2.11（线性空间）

让我们来看一些重要的例子：

• V = \mathbb{R}^n，其中 n \in \mathbb{N}，是线性空间，其操作定义如下：
  • 加法：\boldsymbol{x} + \boldsymbol{y} = (x_1, \dots, x_n) + (y_1, \dots, y_n) = (x_1 + y_1, \dots, x_n + y_n)，对于所有 \boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^n
  • 标量乘法：\lambda \boldsymbol{x} = \lambda (x_1, \dots, x_n) = (\lambda x_1, \dots, \lambda x_n)，对于所有 \lambda \in \mathbb{R}，\boldsymbol{x} \in \mathbb{R}^n
• V = \mathbb{R}^{m \times n}，其中 m, n \in \mathbb{N}，是线性空间，其操作定义如下：
  • 加法：\boldsymbol{A} + \boldsymbol{B} = \begin{bmatrix} a_{11} + b_{11} & \dots & a_{1n} + b_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} + b_{m1} & \dots & a_{mn} + b_{mn} \end{bmatrix}，按元素定义，对于所有 \boldsymbol{A}, \boldsymbol{B} \in V
  • 标量乘法：\lambda \boldsymbol{A} = \begin{bmatrix} \lambda a_{11} & \dots & \lambda a_{1n} \\ \vdots & \ddots & \vdots \\ \lambda a_{m1} & \dots & \lambda a_{mn} \end{bmatrix}，这和第2.2节中的定义相同。
• V = \mathbb{C}，具有复数的标准加法定义。

注释

在接下来的内容中，我们将用 V 表示线性空间 (V, \mathbb{R}, +, \cdot)，当“+”和“\cdot”是标准向量加法和标量乘法时。此外，我们将用 x \in V 表示 V 中的向量，以简化符号。

注释

线性空间 \mathbb{R}^n、\mathbb{R}^{n \times 1} 和 \mathbb{R}^{1 \times n} 仅在书写向量的方式上有所不同。在接下来的内容中，我们不会区分 \mathbb{R}^n 和 \mathbb{R}^{n \times 1}，这允许我们将 n-元组写为列向量：

\boldsymbol{x} = \begin{bmatrix}x_1 \\ \vdots \\ x_n\end{bmatrix}.

这种表示法简化了线性空间操作的符号。然而，我们确实会区分 \mathbb{R}^{n \times 1} 和 \mathbb{R}^{1 \times n}（即行向量），以避免与矩阵乘法混淆。默认情况下，我们用 x 表示列向量，而行向量则用 x^\top 表示，即 x 的转置。

2.4.3 向量子空间

接下来，我们引入向量子空间的概念。直观上，它们是包含在原始线性空间内的集合，具有这样的性质：当我们对子空间内的元素进行线性空间操作时，结果总是落在子空间中。在这个意义上，它们是“封闭的”。向量子空间是机器学习中的一个关键概念。例如，第10章将展示如何使用向量子空间进行降维。

定义2.10（向量子空间）

设 V = (V, +, \cdot) 是一个线性空间，且 U \subseteq V，U \neq \emptyset。那么 U = (U, +, \cdot) 称为 V 的向量子空间（或线性子空间），如果 U 是一个线性空间，且线性空间操作“+”和“\cdot”限制在 U \times U 和 \mathbb{R} \times U 上。我们用 U \subseteq V 表示 V 的子空间 U。

如果 U \subseteq V 且 V 是一个线性空间，那么 U 自然地从 V 继承了许多性质，因为这些性质对所有 x \in V 都成立，特别是对所有 x \in U \subseteq V 也成立。这包括Abel 群的性质、分配律、结合律和单位元。为了确定 (U, +, \cdot) 是否是 V 的子空间，我们仍需要证明：

1. U \neq \varnothing，特别是：\boldsymbol{0} \in U
2. U 的封闭性：
   • 关于外操作：\forall \lambda \in \mathbb{R}, \forall x \in U: \lambda x \in U
   • 关于内操作：\forall x, y \in U: x + y \in U

例2.12（向量子空间）：让我们来看一些例子：

• 对于每一个线性空间 V，平凡子空间是 V 本身和 \{\boldsymbol{0}\}。
• 只有图2.6中的D是 \mathbb{R}^2 的子空间（具有通常的内/外操作）。A和C不满足封闭性；B不包含 \boldsymbol{0}。
• 齐次线性方程组 Ax = 0 的解集是 \mathbb{R}^n 的一个子空间。
• 非齐次线性方程组 Ax = b（b \neq 0）的解不是 \mathbb{R}^n 的一个子空间。
• 任意多个子空间的交集仍然是一个子空间。

注释：每一个子空间 U \subseteq (\mathbb{R}^n, +, \cdot) 都是齐次线性方程组 Ax = 0 的解空间，其中 x \in \mathbb{R}^n。♦