4.4特征值分解与对角化

文档摘要

4.4 特征值分解与对角化一个对角矩阵（Diagonal Matrix）是一个在所有非对角线上元素都为零的矩阵，即它们的形式为： $$ D = \begin{bmatrix} c1 & \cdots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \cdots & cn \end{bmatrix}. \tag{4.49} $$ 对角矩阵允许我们快速计算行列式、矩阵的幂以及逆矩阵。具体来说，对角矩阵的行列式等于其对角线上元素的乘积；矩阵的幂 $D^k$ 是通过对每个对角元素求 $k$ 次幂得到的；如果对角矩阵的所有对角元素都不为零，那么它的逆矩阵 $D^{-1}$ 是其对角元素的倒数构成的矩阵。在这一节中，我们将讨论如何将矩阵化为对角形式。这是我们在第2.7.

4.4 特征值分解与对角化

一个对角矩阵（Diagonal Matrix）是一个在所有非对角线上元素都为零的矩阵，即它们的形式为：

D = \begin{bmatrix} c_1 & \cdots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \cdots & c_n \end{bmatrix}. \tag{4.49}

对角矩阵允许我们快速计算行列式、矩阵的幂以及逆矩阵。具体来说，对角矩阵的行列式等于其对角线上元素的乘积；矩阵的幂 D^k 是通过对每个对角元素求 k 次幂得到的；如果对角矩阵的所有对角元素都不为零，那么它的逆矩阵 D^{-1} 是其对角元素的倒数构成的矩阵。

在这一节中，我们将讨论如何将矩阵化为对角形式。这是我们在第2.7.2节讨论的基变换和第4.2节讨论的特征值的一个重要应用。

回忆一下，如果存在一个可逆矩阵P，使得D=P^{-1}AP，则称两个矩阵A,D是相似的（定义2.22）。更具体地说，我们将研究那些与对角矩阵D相似的矩阵A，其中对角矩阵D的对角线上包含矩阵A的特征值。

定义4.19（可对角化）：一个矩阵A\in\mathbb{R}^{n\times n}是可对角化的，如果它与一个对角矩阵相似，即如果存在一个可逆矩阵P\in\mathbb{R}^{n\times n}，使得D=P^{-1}AP。

接下来，我们将看到，对角化一个矩阵A\in\mathbb{R}^{n\times n}是表达相同线性映射但使用另一个基（见第2.6.1节）的一种方式，这个基将证明是由矩阵A的特征向量组成的。

译者注：对角化的过程实质上是找到一个新的坐标系（或基），在这个坐标系下，线性变换（由矩阵A表示）变得非常简单，即仅仅是对每个坐标轴（或基向量）进行伸缩变换，伸缩的比例由特征值给出。这种变换不仅简化了计算，还揭示了矩阵的固有性质，如特征值和特征向量的信息。

令\boldsymbol{A}\in R^{n\times n}, \lambda_1,\lambda_2,\cdots,\lambda_n为一系列标量，\bf{p_1},\bf{p_2},\cdots,\bf{p_n}为分布在R^n空间上的向量。我们定义矩阵\boldsymbol{P}:=[\bf{p_1},\bf{p_2},\cdots,\bf{p_n}]并令矩阵\boldsymbol{D}\in R^{n\times n}为一个对角线为\lambda_1,\lambda_2,\cdots,\lambda_n 的对角矩阵。于是我们可以得到：

AP=PD\tag{4.50}

当且仅当 \lambda_1, \ldots, \lambda_n 是矩阵 A 的特征值，且 p_1, \ldots, p_n 是 A 对应的特征向量时，以下等式成立：

A = PDP^{-1}\tag{4.51}

我们可以观察到这一结论的成立是因为：

\begin{aligned} &\boldsymbol{AP} = \boldsymbol{A}[\boldsymbol{p}_{1},\ldots,\boldsymbol{p}_{n}] = [\boldsymbol{A}\boldsymbol{p}_{1},\ldots,\boldsymbol{A}\boldsymbol{p}_{n}] \\ &\boldsymbol{PD} = [\boldsymbol{p}_{1},\ldots,\boldsymbol{p}_{n}]\begin{bmatrix}\lambda_{1}&&0\\&\ddots&\\0&&\lambda_{n}\end{bmatrix} = [\lambda_{1}\boldsymbol{p}_{1},\ldots,\lambda_{n}\boldsymbol{p}_{n}] \end{aligned}\tag{4.52}

因此，(4.50) 表明：

\begin{aligned} A\boldsymbol{p}_1 &= \lambda_1\boldsymbol{p}_1 \\ &\vdots \\ A\boldsymbol{p}_n &= \lambda_n\boldsymbol{p}_n \end{aligned}\tag{4.53,4.54}

所以，矩阵 P 的列必须是 A 的特征向量。

对角化的定义要求 P \in \mathbb{R}^{n\times n} 是可逆的，即 P 具有满秩（定理 4.3）。这要求我们有 n 个线性独立的特征向量 p_1, \ldots, p_n，即 p_i 构成 \mathbb{R}^n 的一个基。

定理 4.20（特征分解）。一个 n \times n 的方阵 A \in \mathbb{R}^{n\times n} 可以被分解为

A = PDP^{-1}\tag{4.55}

其中 P \in \mathbb{R}^{n\times n}，D 是一个对角矩阵，其对角线上的元素是 A 的特征值，当且仅当 A 的特征向量构成 \mathbb{R}^n 的一个基。

$1723798378994$

图4.7 特征分解背后的直觉作为连续变换左上角到左下角：$P^{-1}$执行了一个基变换（此处在$R^2$中绘制并表现为类似旋转的操作），从标准基变换到特征基。左下角到右下角：$D$沿着重新映射的正交特征向量进行缩放，形成一个椭圆。右下角到右上角：$P$撤销了基变换（表现为反向旋转），并恢复了原始的坐标系。

定理4.20意味着只有非缺陷矩阵才能被对角化，且P的列是A的n个特征向量。对于对称矩阵，我们可以得到特征值分解的更强结果。

定理4.21. 对称矩阵S\in\mathbb{R}^{n\times n}总是可以被对角化。

定理4.21直接来自谱定理4.15。此外，谱定理指出我们可以找到\mathbb{R}^n的一个正交归一化的特征向量基。这使得P成为一个正交矩阵，从而D=P^\top AP。

备注：矩阵的Jordan标准型提供了一种适用于缺陷矩阵的分解（Lang, 1987），但这超出了本书的范围。

特征值分解的图形表示

我们可以将矩阵的特征分解解释如下（也见图4.7）：设A是关于标准基e_i（蓝色箭头）的线性映射的变换矩阵。P^{-1}执行从标准基到特征基的基变换。然后，对角矩阵D沿着这些轴通过特征值\lambda_i缩放向量。最后，P将这些缩放后的向量转换回标准/规范坐标，得到\lambda_ip_i。

例4.11（特征分解）

让我们计算A=\frac{1}{2}\begin{bmatrix}5&-2\\-2&5\end{bmatrix}的特征分解。

步骤1：计算特征值和特征向量。

A的特征多项式是

\begin{aligned} &\det(\boldsymbol{A}-\lambda\boldsymbol{I})=\det\left(\begin{bmatrix}\frac{5}{2}-\lambda&-1\\-1&\frac{5}{2}-\lambda\end{bmatrix}\right)\\ &=(\frac{5}{2}-\lambda)^{2}-1=\lambda^{2}-5\lambda+\frac{21}{4}=(\lambda-\frac{7}{2})(\lambda-\frac{3}{2})\:. \end{aligned}\tag{4.56}

因此，A的特征值是\lambda_1=\frac{7}{2}和\lambda_2=\frac{3}{2}（特征多项式的根），并且相关联的（归一化）特征向量通过

Ap_{1}=\frac{7}{2}p_{1}\:,\quad Ap_{2}=\frac{3}{2}p_{2}\tag{4.57}

得到

\boldsymbol{p}_{1}=\frac{1}{\sqrt{2}}\begin{bmatrix}1\\-1\end{bmatrix}\:,\quad\boldsymbol{p}_{2}=\frac{1}{\sqrt{2}}\begin{bmatrix}1\\1\end{bmatrix}\tag{4.58}

步骤2：检查存在性。

特征向量p_1,p_2构成\mathbb{R}^2的一个基。因此，A可以被对角化。

步骤3：构造矩阵P以对角化A。

我们将A的特征向量收集到P中，使得

P=[p_1,\:p_2]=\frac{1}{\sqrt{2}}\begin{bmatrix}1&1\\-1&1\end{bmatrix}\tag{4.59}

然后有

P^{-1}AP=\begin{bmatrix}\frac{7}{2}&0\\0&\frac{3}{2}\end{bmatrix}=\boldsymbol{D}\tag{4.60}

我们得到

A=PDP^{-1}\tag{4.61}

或者等价地（利用在这个例子中特征向量p_{1}和p_2形成一个正交归一基，所以P^{-1}=P^{\top}）

\underbrace{\frac{1}{2}\begin{bmatrix}5&-2\\-2&5\end{bmatrix}}_A=\underbrace{\frac{1}{\sqrt{2}}\begin{bmatrix}1&1\\-1&1\end{bmatrix}}_P\underbrace{\begin{bmatrix}\frac{7}{2}&0\\0&\frac{3}{2}\end{bmatrix}}_D\underbrace{\frac{1}{\sqrt{2}}\begin{bmatrix}1&-1\\1&1\end{bmatrix}}_{P^{-1}}\tag{4.62}

对角矩阵D可以有效地进行幂运算。因此，我们可以通过特征分解（如果存在）来找到一个矩阵A\in\mathbb{R}^{n\times n}的幂，使得

A^k=(PDP^{-1})^k=PD^kP^{-1}\tag{4.62}

计算D^k是高效的，因为我们可以单独对每个对角元素进行此操作。

\bullet 假设特征分解A=PDP^{-1}存在。那么，

\det(\boldsymbol{A})=\det(\boldsymbol{PDP}^{-1})=\det(\boldsymbol{P})\det(\boldsymbol{D})\det(\boldsymbol{P}^{-1})\\=\det(D)=\prod_id_{ii} \tag{4.63}

这允许我们高效地计算矩阵A的行列式。

特征分解要求矩阵是方阵。对一般矩阵进行分解会很有用。在下一节中，我们将介绍一种更一般的矩阵分解技术，即奇异值分解。