引言

设 A 为一个 n 阶方阵，x 为一个非零的 n 维列向量，\lambda 为一个标量，满足以下关系：

Ax = \lambda x. \tag{2.1}

那么 \lambda 被称为 A 的特征值，x 被称为 A 的（右）特征向量。有时我们将 (\lambda, x) 称为一个特征对。 我们建议读者查阅第 页的符号和缩略词表；我们将在全文不加解释地直接使用那里列出的符号。

在本章中，我们将介绍并分类本书中讨论的所有特征值问题，描述它们的基本数学性质及其相互关系。特征值问题可以由单个方阵 A 定义，如（2.1）所示，也可以由非方阵 A、两个或更多方阵或矩形矩阵，甚至是 \lambda 的矩阵函数定义。 我们使用“特征值问题”一词来涵盖计算特征值、特征向量、舒尔分解、特征值的条件数、奇异值和奇异向量，以及其他将在下文定义的术语。阅读本章后，读者应能辨识许多特征值问题的数学类型，这对于选择最有效的算法至关重要。如果不辨识特征值问题的正确数学类型，可能会导致使用根本不适用或可能比专门算法消耗的时间和空间多几个数量级的算法。

为了说明这些特征值问题的来源及其相互关系，我们对每个问题都提供了一组相关示例。本章的各节安排与本书接下来的六章相对应：

第 2.2 节：

厄米特征值问题（HEP）（第 4 章）。 这对应于 Ax = \lambda x，如（2.1）所示，其中 A 是厄米矩阵，即 A = A^*。

第 2.3 节：

广义厄米特征值问题（GHEP）（第 5 章）。 这对应于 Ax = \lambda Bx，其中 A 和 B 是厄米矩阵，且 B 是正定的（所有特征值均为正）。

第 2.4 节：

奇异值分解（SVD）（第 6 章）。 给定任意矩形矩阵 A，这对应于求解厄米矩阵 A^* A 和 AA^* 的特征值和特征向量。

第 2.5 节：

非厄米特征值问题（NHEP）（第 7 章）。 这对应于 Ax = \lambda x，如（2.1）所示，其中 A 除了是方阵外，但其他性质是一般的。

第 2.6 节：

广义非厄米特征值问题（GNHEP）（第 8 章）。 这对应于 Ax = \lambda Bx。我们将首先处理最常见的正则广义特征值问题，即当 A 和 B 是方阵且存在标量 \alpha 和 \beta，使得\alpha A - \beta B 是非奇异的。我们也会讨论奇异情况。

第 2.7 节：

非线性特征值问题（第 9 章）。 最简单的例子是二次特征值问题 L(\lambda)x = (\lambda^2 M + \lambda D + K)x = 0，也包括更高次多项式。我们还讨论了在 m 行 n 列的正交矩阵空间上最大化实函数 F(Y)；这包括以特征值问题为特例一些更复杂的问题，例如同时尽可能将两个或多个对称矩阵简化为对角形式，方法是使用相同的近似特征向量集。

Bai的注释：这一节不是必要的，我们没有太多可以（需要）说的。 Ax = \lambda Bx 在奇异情况下的讨论见第 8 章。

[第 节] 更多广义特征值问题（第 9 章）。 本章包括几种情况。首先，我们讨论 Ax = \lambda Bx 的奇异情况，即特征值不是连续函数。其次，我们讨论多项式特征值问题 \sum_{i=0}^k \lambda^i A_i x = 0。当 k=1 时，我们得到 -A_0 x = \lambda A_1 x，这对应于之前考虑的情况。第三，我们考虑完全非线性情况 A(\lambda)x = 0，其中 A 可以以任何连续方式依赖于 \lambda。当 A(\lambda) 是 \lambda 的多项式时，我们得到前一种情况。

上述所有特征值问题在自然科学和工程应用中自然出现。在每一节中，我们还展示了如何辨识和解决相关的特征值问题（例如，GHEP 中当 \alpha A + \beta B 是正定的而 B 不是的情况）。各章节按大致增加的通用性和复杂性顺序排列。例如，HEP Ax = \lambda x 显然是 GHEP Ax = \lambda Bx 的一个特例，因为我们可以设 B=I。它也是 NHEP 的一个特例，因为我们可以忽略 A 的厄米对称性，将其视为一般矩阵。

通常，特征值问题越大或越困难，算法中尽可能利用其数学结构（如对称性或稀疏性）就越重要。例如，可以使用非厄米问题的算法来处理厄米问题，但代价是时间、存储大幅增加，以及可能更低的精度。

从2.2节到2.6节的每一部分都按如下结构组织：

1. 给出特征值和特征向量的基本定义。

2. 定义特征空间。一个子空间 \mathcal Y 被定义为由一组选定的向量 y_1,\ldots,y_k 所张成的空间 {\rm span}\{y_1,\ldots,y_k\}；即，\mathcal Y 是所有 y_1,\ldots,y_k 的线性组合的集合。特征空间（通常）由特征向量的一个子集张成，并可能被称为不变子空间、收缩子空间或根据特征问题的类型有其他名称。

3. 定义等价变换；这些变换（如将 A 变为 SAS^{-1}）保持特征值不变，并可用于计算特征问题的“简化表示”。根据情况，等价变换也被称为相似变换或合同变换。

4. 定义特征分解；这些是通常计算的“简化表示”。

5. 讨论条件数。 条件数衡量特征值和特征空间对 A 中微小变化的敏感程度。这些微小变化可能来自舍入误差或其他算法中不可避免的近似，或者是 A 的元素的不确定性。通过将条件数乘以 A 变化的界限，可以得到计算的特征值和特征空间的误差界限。有关如何使用条件数获得误差界限的更多细节，请参见第2.1.1节。

   如果特征值或特征空间的误差界限对用户来说足够小（这显然取决于用户），则称为良态，如果误差界限大得多，则称为病态。条件数不仅对于解释算法的计算结果很重要，对于选择要计算的信息也很重要。例如，同一特征空间的不同表示可能具有非常不同的条件数，通常计算条件数较小的表示更好。条件数在每个章节中都有更详细的讨论，但在本章会给出一个通用的总结。

6. 列出了指定特征问题的不同方式。最昂贵的特征值问题是计算 A 的所有特征值和特征向量。很多时候这在时间和空间上代价过大，用户可能只需要较少的信息，例如最大的10个特征值及其特征向量。（注意，如果 A 是稀疏的，而特征向量通常是稠密的，因此存储所有特征向量可能比存储 A 占用更多的内存。）此外，对于同一矩阵 A 的某些特征问题可能比其他问题条件更好，这些可能是首选的计算对象。

7. 讨论了相关的特征问题。例如，如果有可能将一个特征问题转化为更简单和更便宜的特殊情况，我们会指出。

8. 使用图2.1所示的质量-弹簧系统的振动分析来说明每个特征问题的来源和公式。
   

   图2.1：阻尼振动质量-弹簧系统。

   对这个振动质量-弹簧系统的应用牛顿定律 F=ma 得出

   k_i (x_{i-1}(t)-x_i(t))+ k_{i+1} (x_{i+1}(t)-x_i(t))- b_{i} \dot{x}_i(t)= m_i \ddot{x}_i (t),
   其中左边的第一项是弹簧 i 对质量 i 的力，第二项是弹簧 i+1 对质量 i 的力，第三项是阻尼器 i 对质量 i 的力。以矩阵形式，这些方程可以写成
   M \ddot{x}(t) = -B \dot{x}(t) - K x(t),
   其中 M = {\rm diag}( m_1,\ldots, m_n ), B = {\rm diag}( b_1,\ldots, b_n ), 以及
   K = \begin{bmatrix} k_1 + k_2 & -k_2 & & & \\ -k_2 & k_2 + k_3 & -k_3 & & \\ & \ddots & \ddots & \ddots & \\ & & -k_{n-1} & k_{n-1} + k_n & -k_n \\ & & & -k_n & k_n \end{bmatrix}.
   我们假设所有的质量 m_i 都是正的。M 称为质量矩阵，B 是阻尼矩阵，K 是刚度矩阵。所有三个矩阵都是对称的。当 m_i、b_i 和 k_i 分别为正时，它们也是正定的（所有特征值均为正）。将形式解 x(t) = e^{\lambda t} x 代入该方程，这个微分方程变成了一个特征值问题，其中 \lambda 是标量常数，x 是向量常数，这两个量都通过求解特征问题来确定。

   电气工程师通过应用基尔霍夫定律及相关定律来分析线性电路，也会得出类似的方程。在这种情况下，x 表示支路电流，M 表示电感，B 表示电阻，K 表示导纳（电容的倒数）。

关于非线性特征问题的第 9 章根据所讨论的具体非线性问题的结构进行了不同的组织。

最后，第 10 章和第 11 章处理了许多或所有上述特征问题共同的问题。第 10 章讨论了稀疏矩阵的数据结构、算法和软件，特别是稀疏线性求解器，它们通常是特征值算法中最耗时的部分。第 11 章讨论了预处理技术或方法，用于将特征问题转化为更简单的问题。一些预处理技术已经很成熟；其他技术是当前研究的课题。

小节

• 数值稳定性和条件数