10.5高维PCA

文档摘要

10.5 高维PCA 为了进行PCA，我们需要计算数据的协方差矩阵。在$D$维空间中，数据协方差矩阵是一个$D\times D$的矩阵。计算这个矩阵的特征值和特征向量在计算上是昂贵的，因为它与$D$的三次方成正比。因此，正如我们之前讨论的那样，PCA在非常高维的情况下是不可行的。例如，如果我们的$xn$是包含10,0000个像素的图像（例如，$100\times100$像素的图像），那么我们需要计算一个$10,000\times10,000$的协方差矩阵的特征分解。以下，我们针对数据点数量远小于维度的情况（即$N\ll D$）提供了一种解决方案。假设我们有一个已居中的数据集$x1,\ldots,xN$，其中$xn\in\mathbb{R}^D$。