基本概念
Y. Saad

大多数标准特征值算法利用投影过程从给定子空间中提取近似特征向量。投影方法的基本思想是从指定的低维子空间中提取一个近似特征向量。为了能够提取这些近似值，需要满足某些条件。一旦这些条件被表达出来，就会得到一个小的矩阵特征值问题。

一个略显平凡但有趣的投影应用示例是通过以下幂法计算矩阵的主特征值：

选择 u_{0}
for i=0, \ldots, 直到收敛 do:
u = A u_i
u_{i+1} = u / \Vert u\Vert _2
\tilde\lambda_{i+1} = u^T_{i+1} A u_{i+1}

在最简单的情况下，当主特征值，即模最大的特征值，是实数且唯一时，在初始向量的温和假设下， (u_{i+1}, \tilde\lambda_{i+1}) 将收敛到特征向量及其对应的（模最大）特征值。 如果该特征值是复数且只使用实数运算，则算法将无法收敛。可以通过引入复数初始向量在复数运算中工作，从而恢复收敛。 不过，也可以通过实数运算来提取这些特征向量。这是基于以下观察：两个连续的迭代 u_{i} 和 u_{i+1} 将倾向于属于由所需特征值相关的两个复共轭特征向量所张成的子空间。设 u_{i} 和 u_{i+1} 分别表示为 v_1 和 v_2。为了提取近似特征向量，我们将它们写成 v_1 和 v_2 的线性组合：

\tilde{u} = \eta_1 v_1 + \eta_2 v_2.

我们寻求一个向量和一个标量 \tilde{\lambda} 使得

A \tilde{u} = \tilde{\lambda} \tilde{u}.

这是一个欠定系统。除了 \tilde{\lambda} 外，还有两个自由度，即标量 \eta_1 和 \eta_2。它们可以通过施加两个约束来确定。最常见的是以正交性条件的形式表达这些约束。这即是Galerkin条件，要求残差 r = A \tilde{u} - \tilde{\lambda} \tilde{u} 与近似子空间，即 v_1 和 v_2 正交：

A \tilde{u} - \tilde{\lambda} \tilde{u} \perp v_1 , \qquad A \tilde{u} - \tilde{\lambda} \tilde{u} \perp v_2 .

定义 n \times 2 矩阵 V \equiv [v_1,v_2] 并称 y 为未知数 \eta_1, \eta_2 的 2 维向量，即 y = (\eta_1, \eta_2)^T。那么，显然 \tilde{u} = V y，上述方程给出

( A - \tilde{\lambda} I ) V y \perp v_1 , \qquad ( A - \tilde{\lambda} I ) V y \perp v_2

也即，

V^{\ast} ( A - \tilde{\lambda} I ) V y = 0 .

由此可得 2 \times 2 广义特征值问题：

V^{\ast} A V y = \tilde{\lambda} \ V^{\ast} V y .

从这个问题中获得的近似（复数）共轭特征对将在与实数情况相同的条件下收敛。迭代使用实数向量，但过程能够提取复数特征值。显然，近似特征向量是复数，但它们不需要在复数运算中计算。这是因为（实数）基 [v_1, v_2] 已经就可以张成对应的不变子空间。

上述思想可以从二维推广到 m 维。即，投影方法通常通过某个子空间 \mathcal{K} 内的向量 \tilde{u} 来近似精确特征向量 u，该子空间被称为近似子空间或右子空间。 如果子空间是 m 维的，这产生了 m 个自由度，下一步是施加 m 个约束以能够提取唯一解。 这通过施加所谓的Petrov-Galerkin条件来完成的，即 \tilde{u} 的残差向量与某个子空间 \mathcal{L} 正交，该子空间被称为左子空间。 尽管这可能看起来是人为的，我们可以区分两种广泛的投影方法。在正交投影法中，子空间 \mathcal{L} 与 \mathcal{K} 相同。在斜投影法中，\mathcal{L} 与 \mathcal{K} 不同，并且可以完全不相关。

\mathcal{K} 的构造可以通过不同的方式完成。上述对幂法的推广，如果使用迭代过程中生成的所有向量，将得到Krylov子空间方法，在子空间

{\mathcal K}^m(A,u_0) = {\rm span}\{ u_0, Au_0, \ldots , A^{m-1}u_0\},

即所谓的Krylov子空间中寻求解的方法。 还可以尝试通过不精确逆技术（预处理）迫使这些向量更接近所需特征向量的方向，这就是Davidson型方法。或者，可以从一组（块）向量而不是单个向量开始，由此可以得到这些子空间方法的所谓块变体。