相关的奇异值问题

1. 若 B = A^*，且 A = U \Sigma V^* 为其奇异值分解(SVD)，则 B 的 SVD 为 B = V \Sigma^* U^*.

2. 假设 B = A^*A，其中 A 是 m 行 n 列的矩阵且 m \geq n。那么 B 是一个 n 行 n 列的厄米矩阵。设 A = U \Sigma V^* 为 A 的 SVD，则 B 的特征分解为 B = V (\Sigma^*\Sigma) V^*. 注意到\Sigma^*\Sigma = {\rm diag}(\sigma_1^2 , \ldots , \sigma_n^2)。 换句话说，B 的特征向量是 A 的右奇异向量，而 B 的特征值是 A 的奇异值的平方。若 B = AA^*，其中 A 是 m 行 n 列的矩阵且 m \geq n，则 B 是 m 行 m 列的矩阵，其特征分解为 B = U (\Sigma \Sigma^*) U^*。同样地，B 的特征向量是 A 的右奇异向量，而 B 的特征值是 A 的奇异值的平方，再加上 0，其重数为 m-n。

3. 假设 B = [{0^{m \times m} \atop A^*} \; {A \atop 0^{n \times n}}]， 其中 A 是 m 行 n 列的矩阵且 m \geq n。那么 B 是一个 (m+n) 行 (m+n) 列的厄米矩阵。设 A = U \Sigma V^* 为 A 的 SVD， 记 U = [U_1^{m \times n}, U_2^{m \times (m-n)}] 和 \Sigma = [{\hat{\Sigma}^{n \times n} \atop 0^{(m-n) \times n}}]。 则 B 的特征分解为 B = Q \Lambda Q^*，其中 \Lambda = {\rm diag}( \hat{\Sigma} , -\hat{\Sigma} , O^{(m-n) \times (m-n)}) 且
   Q = \begin{bmatrix} \frac{1}{\sqrt{2}} U_1 & -\frac{1}{\sqrt{2}}U_1 & U_2 \\ \frac{1}{\sqrt{2}} V & +\frac{1}{\sqrt{2}}V & O^{n \times (m-n)} \end{bmatrix}.
   换句话说，\pm \sigma_i 是特征值，其单位特征向量为 \frac{1}{\sqrt{2}} [{\pm u_i \atop v_i}] 对于 i=1 到 n， 剩余特征值都是 0，其特征向量为 [{u_i \atop 0^{n \times 1}}] 对于 i > n。

4. 商奇异值分解 (QSVD) 或广义 SVD (GSVD) 的定义如下。 假设 A 是 m 行 n 列的矩阵，B 是 n 行 n 列且非奇异的矩阵。设 r = \min(m,n)。设 AB^{-1} 的 SVD 为 AB^{-1} = U \Sigma V^*。我们也可以写出 A 和 B 的等价分解为 A = U \Sigma_A X 和 B = V \Sigma_B X，其中 X 是 n 行 n 列且非奇异的矩阵， \Sigma_A 是 m 行 n 列的矩阵，包含 {\rm diag}( \sigma_{A,1},\ldots,\sigma_{A,r} ) 在其前 r 行和列，其余为零， \Sigma_B 是 n 行 n 列的矩阵，包含 {\rm diag}( \sigma_{B,1},\ldots,\sigma_{B,n} )。
   \Sigma_A 和 \Sigma_B 可以选择使得 \Sigma_A^T \Sigma_A + \Sigma_B ^T \Sigma_B = I^{n \times n}。 因此 \Sigma = \Sigma_A \Sigma_B^{-1}。 对角线元素 \sigma_i = \sigma_{A,i} / \sigma_{B,i} 称为 A 和 B 的广义奇异值。

   这种分解可以推广到 B 奇异或 p 行 n 列的情况， 等价于 AB 的 SVD（乘积 SVD）， 实际上也适用于任意形式的乘积分解 A_1^{\pm 1} A_2^{\pm 1} \cdots A_k^{\pm 1} [108]。

5. CS（余弦/正弦）分解的定义如下。 假设 Z = [{A^{m \times n} \atop B^{p \times n}}] 的列是正交的。 那么 A 和 B 的 QSVD 等价于分解 A = U \Sigma_A X 和 B = V \Sigma_B X，其中 X 是酉矩阵。\Sigma_A（\Sigma_B）的对角线元素是 Z 的列张成的子空间与 I^{(m+p) \times (m+p)} 的前 m 列张成的子空间之间的主角（principal angles）的余弦（正弦）[424, 25]。 这用于计算子空间之间的“距离”（或角度）。

6. 假设 A 是 m 行 n 列的矩阵，B 是 p 行 n 列且列满秩的矩阵； 那么广义特征值问题 A^*A - \lambda B^*B 可以用 QSVD 求解如下。将 QSVD 写为 A = U \Sigma_A X 和 B = V \Sigma_B X。A^*A - \lambda B^*B 的特征分解可以写为 X^*A^*AX = \Sigma_A^* \Sigma_A 和 X^*B^*BX = \Sigma_B^* \Sigma_B。这可以推广到 B 列不满秩的情况。

7. 寻找使 \Vert Ax - b \Vert _2 最小化的 x 是线性最小二乘问题。假设 A 是 m 行 n 列的矩阵且 m>n； 我们称最小二乘问题为超定问题。 设 A = \tilde{U} \tilde{\Sigma} V^* 为 A 的紧凑 SVD。如果 A 满秩，最小二乘问题的唯一解是 x= V {\tilde{\Sigma}}^{-1} {\tilde{U}}^* b，尽管基于 QR 分解或正规方程的解法更便宜且更常用 [50, 12]。如果 A 的秩小于 n，则 SVD 常用于求解最小二乘问题。在这种情况下，解不唯一，但其唯一的最小范数解是
   x= V {\hat{\Sigma}}^{\dag} {\hat{U}}^* b, \quad \mathrm{where} (\hat{\Sigma}^\dag)_{ii} = \begin{cases} \sigma_i^{-1}, & \mathrm{if} \; \sigma_i > 0, \\ 0, & \mathrm{if} \; \sigma_i = 0. \end{cases}.
   如果 m < n， 我们称最小二乘问题为欠定问题。在这种情况下，解不唯一，但其唯一的最小范数解是 x= \hat{V} {\hat{\Sigma}}^{\dag } {U}^* b， 其中 A = U \hat{\Sigma} \hat{V}^* 是 A 的紧致 SVD。