奇异值分解

奇异值分解是通用于任意矩阵的基本分解工具，揭示矩阵结构，广泛应用于降维、最小二乘与数值计算中。

1. 奇异值分解的背景

在前面的章节中，我们利用对角化定理 $~(\text{如}\mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^{-1})~$ 可以将复杂矩阵运算简化为对角矩阵运算。然而，并非所有矩阵都能通过这种方式分解，尤其是对于非方阵。而本节要介绍的奇异值分解 $~(\textbf{Singular Value Decomposition,~SVD})~$ 则突破了非方阵的限制，它适用于任何矩阵。

$\textbf{SVD}~$ 之所以能处理非方阵，关键在于它利用了矩阵 $~\mathbf{A}~$ 的转置与其自身的乘积 $~\mathbf{A}^T\mathbf{A}~$ 的可正交对角化性质。对于 $~\mathbf{A}^T\mathbf{A}~$ 有如下性质：

对任意 $~m imes n~$ 矩阵 $~\mathbf{A}~$ ，矩阵 $~\mathbf{A}^T\mathbf{A}~$ 是 $~n\times n~$ 的对称矩阵（因为 $~(\mathbf{A}^T\mathbf{A})^T = \mathbf{A}^T\mathbf{A}~$ ）。

对任意非零向量 $~\mathbf{x}~$ ，有：

\mathbf{x}^T(\mathbf{A}^T\mathbf{A})\mathbf{x} = (\mathbf{A}\mathbf{x})^T(\mathbf{A}\mathbf{x}) = \|\mathbf{A}\mathbf{x}\|^2 \geq 0

因此 $~\mathbf{A}^T\mathbf{A}~$ 是半正定矩阵。

存在正交矩阵 $~\mathbf{D}~$ 使得：

\mathbf{A}^T\mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^T, \quad \mathbf{D} = \begin{bmatrix}\lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n\end{bmatrix}

由于 $~\mathbf{A}^T\mathbf{A}~$ 是半正定矩阵，所以 $~\lambda_i \geq 0~$ 。

2. $\text{SVD}~$ 的基本概念与几何意义

例 $~1~$ ：给定矩阵 $~\mathbf{A} = \begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix}~$ ，线性变化 $~\mathbf{x} \mapsto \mathbf{A}\mathbf{x}~$ 将三维空间中的单位球面 $~\{\mathbf{x}: \|\mathbf{x}\| = 1\}~$ 映射到二维平面上的一个椭圆。请找到一个单位向量 $~\mathbf{x}~$ ，使得 $~\|\mathbf{A}\mathbf{x}\|~$ 最大化；并计算此时的最大长度 $~\|\mathbf{A}\mathbf{x}\|~$ 。

问题转化 ：最大化 $~\|\mathbf{A}\mathbf{x}\|^2~$

由于平方函数在非负区间单调递增，最大化 $~\|\mathbf{A}\mathbf{x}\|~$ 等价于最大化 $~\|\mathbf{A}\mathbf{x}\|^2~$ ：
$~\|\mathbf{A}\mathbf{x}\|^2 = (\mathbf{A}\mathbf{x})^T(\mathbf{A}\mathbf{x}) = \mathbf{x}^T(\mathbf{A}^T\mathbf{A})\mathbf{x}~$
因此，问题转化为在约束条件 $~\|\mathbf{x}\| = 1~$ 下，最大化二次型 $~\mathbf{x}^T(\mathbf{A}^T\mathbf{A})\mathbf{x}~$ 。
计算 $~\mathbf{A}^T\mathbf{A}~$ ：
$\mathbf{A}^T \mathbf{A} = \begin{bmatrix}4 & 8 \\ 11 & 7 \\ 14 & -2\end{bmatrix}\begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix} = \begin{bmatrix}80 & 100 & 40 \\ 100 & 170 & 140 \\ 40 & 140 & 200\end{bmatrix}$
求解 $~\mathbf{A}^T\mathbf{A}~$ 的特征值与单位特征向量 ：解 $~\det(\mathbf{A}^T\mathbf{A} - \lambda\mathbf{I}) = 0~$ ，得到特征值：
$\lambda_1 = 360, \quad \lambda_2 = 90, \quad \lambda_3 = 0$
对应的单位特征向量：
$\begin{align*}\lambda_1 &= 360, \quad &\mathbf{v}_1 &= \begin{bmatrix}1/3 \\ 2/3 \\ 2/3\end{bmatrix} \\[4ex] \lambda_2 &= 90, \quad &\mathbf{v}_2 &= \begin{bmatrix}-2/3 \\ -1/3 \\ 2/3\end{bmatrix} \\[4ex] \lambda_3 &= 0, \quad &\mathbf{v}_3 &= \begin{bmatrix}2/3 \\ -2/3 \\ 1/3\end{bmatrix}\end{align*}$
确定最大化 $~\|\mathbf{A}\mathbf{x}\|~$ 的向量 ：根据二次型极值定理，最大特征值 $~\lambda_1 = 360~$ 对应的单位特征向量 $~\mathbf{v}_1~$ 使得 $~\mathbf{x}^T(\mathbf{A}^T\mathbf{A})\mathbf{x}~$ 达到最大值。因此，当 $~\mathbf{x}=\mathbf{v}_1~$ 时， $\|\mathbf{A}\mathbf{x}\|^2 = 360$ ，即：
$\|\mathbf{A}\mathbf{x}\|_{max} = \sqrt{360} = 6\sqrt{10}$
验证结果 ：计算 $~\mathbf{A}\mathbf{v}_1~$ ：
$\mathbf{A}\mathbf{v}_1 = \begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix}\begin{bmatrix}1/3 \\ 2/3 \\ 2/3\end{bmatrix} = \begin{bmatrix}18 \\ 6\end{bmatrix}$
验证其长度：
$\|\mathbf{A}\mathbf{v}_1\| = \sqrt{18^2 + 6^2} = \sqrt{360} = 6\sqrt{10}$

我们计算得到 $~\mathbf{x} = \begin{bmatrix}1/3 & 2/3 & 2/3\end{bmatrix}^T~$ 时， $\|\mathbf{A}\mathbf{x}\|$ 取得最大值 $~6\sqrt{10}~$ 。

3. 奇异值的定义与性质

设 $~\mathbf{A}~$ 是 $~m\times n~$ 实矩阵， $\mathbf{A}^T\mathbf{A}~$ 的特征值为 $~\lambda_1,\lambda_2,\cdots,\lambda_n~$ （按降序排列且非负）。矩阵 $~\mathbf{A}~$ 的奇异值定义为：

\sigma _ { i } = \sqrt { \lambda _ { i } } \quad ( 1 \leq i \leq n )

并满足：

\sigma_1 \geq \sigma_2 \cdots \geq \sigma_n \geq 0

例 $~2~$ ：给定 $~\mathbf{A} = \begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix}~$ ，已知 $~\mathbf{A}^T\mathbf{A}~$ 的特征值为 $~\lambda_1 = 360,~\lambda_2 = 90,~\lambda_3 = 0~$ 。请计算矩阵 $~\mathbf{A}~$ 的奇异值，验证奇异值的几何意义。

计算奇异值

奇异值为 $~\mathbf{A}^T\mathbf{A}~$ 特征值的平方根，利用例 $~1~$ 中计算得到的特征值，可得奇异值为：
$\sigma_1 = \sqrt{360} = 6\sqrt{10},\quad \sigma_2 = \sqrt{90} = 3\sqrt{10},\quad \sigma_3 = 0$
非零奇异值的数量（ $~2~$ 个）对应矩阵 $~\mathbf{A}~$ 的秩。
验证几何意义
- 计算 $\mathbf{A}\mathbf{v}_1$ 和 $~\mathbf{A}\mathbf{v}_2~$ ：
  
  例 $~1~$ 中计算得到 $~\mathbf{v}_1 = \begin{bmatrix}1/3 & 1/3 & 1/3\end{bmatrix}^T~$ ，那么 $\mathbf{A}\mathbf{v}_1$ ：
  $\mathbf{A}\mathbf{v}_1 = \begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix}\begin{bmatrix}1/3 \\ 1/3 \\ 1/3\end{bmatrix} = \begin{bmatrix}18 \\ 6\end{bmatrix}$
  长度为：
  $\|\mathbf{A}\mathbf{v}_1\| = \sqrt{18^2 + 6^2} = \sqrt{360} = 6\sqrt{10} = \sigma_1$
  $\mathbf{v}_2 = \begin{bmatrix}-2/3 & -1/3 & 2/3\end{bmatrix}^T$ ，计算 $\mathbf{A}\mathbf{v}_2$ ：
  $\mathbf{A}\mathbf{v}_2 = \begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix}\begin{bmatrix}-2/3 \\ -1/3 \\ 2/3\end{bmatrix} = \begin{bmatrix}3 \\ -9\end{bmatrix}$
  长度为：
  $\|\mathbf{A}\mathbf{v}_2\| = \sqrt{3^2 + (-9)^2} = \sqrt{90} = 3\sqrt{10} = \sigma_2$
- 验证正交性 ：计算 $~\mathbf{A}\mathbf{v}_1~$ 和 $~\mathbf{A}\mathbf{v}_2~$ 的内积：
  $\mathbf{A}\mathbf{v}_1\cdot \mathbf{A}\mathbf{v}_2 = 18\cdot 3 + 6\cdot(-9) = 0$
  说明 $~\mathbf{A}\mathbf{v}_1~$ 与 $~\mathbf{A}\mathbf{v}_2~$ 正交。

定理 9

正交基与列空间的关系

设 $~\{\mathbf{v}_1, \cdots, \mathbf{v}_n\}~$ 是 $~\mathbb{R^n}~$ 的一个正交基，由 $~\mathbf{A}^T\mathbf{A}~$ 的特征向量组成，且对应的特征值满足 $~\lambda_1 \geq \cdots \geq \lambda_n~$ 。假设 $~\mathbf{A}~$ 有 $~r~$ 个非零奇异值，则 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_r\}~$ 是 $~\mathbf{A}~$ 的列空间 $(\text{Col}\mathbf{A})$ 的一个正交基，且 $~\mathbf{A}~$ 的秩为 $~r~$ 。

证明 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$ 是正交集合

对于任意 $~i \neq j~$ ，计算 $~(\mathbf{A}\mathbf{v}_i)^T(\mathbf{A}\mathbf{v}_j)~$ ：
$(\mathbf{A}\mathbf{v}_i)^T(\mathbf{A}\mathbf{v}_j) = \mathbf{v}_i^T\mathbf{A}^T\mathbf{A}\mathbf{v}_j = \mathbf{v}_i^T(\lambda_j \mathbf{v}_j) = \lambda_j(\mathbf{v}_i^T \mathbf{v}_j)$
由于 $~\{\mathbf{v}_1, \cdots, \mathbf{v}_n\}~$ 是正交基， $\mathbf{v}_i^T\mathbf{v}_j = 0~(i \neq j)$ ，因此：
$(\mathbf{A}\mathbf{v}_i)(\mathbf{A}\mathbf{v}_j) = 0$
这表明 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$ 是一个正交集合。
确定非零向量 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$
- 根据奇异值的定义， $\|\mathbf{A}\mathbf{v}_i\| = \sigma_i = \sqrt{\lambda_i}$ 。
- 由于 $~\mathbf{A}~$ 有 $~r~$ 个非零奇异值，所以 $~\sigma_i > 0~$ 当且仅当 $~1 \leq i \leq r~$ 。
- 因此， $\mathbf{A}\mathbf{v}_i \neq 0$ 当且仅当 $~1 \leq i \leq r~$ ，而 $~\mathbf{A}\mathbf{v}_{r+1}, \cdots, \mathbf{A}\mathbf{v}_n~$ 均为零向量。
证明 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$ 是 $\text{Col}\mathbf{A}$ 的基
- 对于任意 $\mathbf{y} \in \text{Col}\mathbf{A}$ ，存在 $~\mathbf{x} \in \mathbb{R}^n~$ 使得 $~\mathbf{y} = \mathbf{A}\mathbf{x}~$ 。
- 将 $~\mathbf{x}~$ 表示为正交基的线性组合：
  $\mathbf{x} = c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n$
- 计算 $~\mathbf{y} = \mathbf{A}\mathbf{x}~$ ：
  $\begin{align*}\mathbf{y} &= \mathbf{A}(c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n)\\[2ex] &= c_1\mathbf{A}\mathbf{v}_1 + \cdots + c_r\mathbf{A}\mathbf{v}_r + c_{r+1}\mathbf{A}\mathbf{v}_{r+1} + \cdots + c_n\mathbf{A}\mathbf{v}_n\end{align*}$
- 由于 $~\mathbf{A}\mathbf{v}_{r+1} = \cdots = \mathbf{A}\mathbf{v}_n = 0~$ ，上式可简化为：
  $\mathbf{y} = c_1\mathbf{A}\mathbf{v}_1 + \cdots + c_r\mathbf{A}\mathbf{v}_r$
- 这表明 $~\mathbf{y}~$ 属于 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$ 的生成空间，因此 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$ 是 $~\text{Col}~\mathbf{A}~$ 的基。
确定 $~\mathbf{A}~$ 的秩
- 由于 $~\{\mathbf{A}\mathbf{v}_1, \cdots, \mathbf{A}\mathbf{v}_n\}~$ 是 $~\text{Col}~\mathbf{A}~$ 的正交基，且线性无关，所以 $~\text{Col}~\mathbf{A}~$ 的维度为 $~r~$ 。
- 因此， $\mathbf{A}~$ 的秩为 $~r~$ 。

4. 奇异值分解的构造方法

定理 10

奇异值分解

设 $~\mathbf{A}~$ 是一个秩为 $~r~$ 的 $~m\times n~$ 矩阵。则存在一个 $~m\times n~$ 的矩阵 $~\mathbf{\Sigma}~$ ：

\Sigma = \begin{bmatrix}\mathbf{D} & 0 \\ 0 & 0 \end{bmatrix}

其中 $~\mathbf{D}~$ 的对角线元素是 $~\mathbf{A}~$ 的前 $~r~$ 个奇异值 $~\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r > 0~$ ，并且存在一个 $~m\times m~$ 的正交矩阵 $~\mathbf{U}~$ 和一个 $~n\times n~$ 的正交矩阵 $~\mathbf{V}~$ 使得：

\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^T

任何形如 $~\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^T~$ 的分解，被称为 $~\mathbf{A}~$ 的奇异值分解 $~(\text{SVD})~$ 。其中 $~\mathbf{U}~$ 和 $~\mathbf{V}~$ 是正交矩阵， $\Sigma~$ 中的对角矩阵 $~\mathbf{D}~$ 的对角线元素为正。矩阵 $~\mathbf{U}~$ 和 $~\mathbf{V}~$ 不是由 $~\mathbf{A}~$ 唯一确定的，但 $\Sigma$ 的对角线元素必然是 $~\mathbf{A}~$ 的奇异值。在这种分解中， $\mathbf{U}~$ 的列称为 $~\mathbf{A}~$ 的左奇异向量， $\mathbf{v}~$ 的列称为 $~\mathbf{A}~$ 的右奇异向量。

构造右奇异向量矩阵 $~\mathbf{V}~$
- 计算 $~\mathbf{A}^T\mathbf{A}~$ ：对任意 $~m\times n~$ 矩阵 $~\mathbf{A}~$ ，矩阵 $~\mathbf{A}^T\mathbf{A}~$ 是 $~n\times n~$ 的对称半正定矩阵。
- 正交对角化 ：由谱定理， $\mathbf{A}^T\mathbf{A}$ 可正交对角化为：
  $\mathbf{A}^T\mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^T,\quad \mathbf{D} = \begin{bmatrix}\lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n\end{bmatrix}$
  其中 $~\lambda_i \geq 0~$ ，且 $~\mathbf{P} = \begin{bmatrix}\mathbf{v}_1 & \mathbf{v}_2 & \cdots & \mathbf{v}_n\end{bmatrix}~$ 是正交矩阵， $\mathbf{v}_i$ 是 $\mathbf{A}^T\mathbf{A}$ 的单位正交特征向量。
- 定义奇异值 ：取非零特征值的平方根作为奇异值：
  $\sigma_i = \sqrt{\lambda_i}\quad (i = 1,2,\cdots,r),\quad r = \text{rank}(\mathbf{A})$
构造左奇异向量矩阵 $~\mathbf{U}~$
- 生成非零奇异值对应的 $~\mathbf{u}_i~$ ：对每个非零奇异值 $~\sigma_i~$ ，定义：
  $\mathbf{u}_i = \frac{1}{\sigma_i}\mathbf{A}\mathbf{v}_i\quad (i=1,2,\cdots, r)$
  由 $~\|\mathbf{A}\mathbf{v}_i\|=\sigma_i~$ ，可知 $~\mathbf{u}_i~$ 是单位向量。
- 验证正交性 ：对于 $~i \neq j~$ ，有：
  $\mathbf{u}_i^T \mathbf{u}_j = \frac{1}{\sigma_i \sigma_j} \mathbf{v}_i^T \mathbf{A}^T \mathbf{A} \mathbf{v}_j = \frac{\lambda_j}{\sigma_i \sigma_j} \mathbf{v}_i^T \mathbf{v}_j = 0$
  因此 $~\{\mathbf{u}_1, \cdots, \mathbf{u}_r \}~$ 是正交单位向量集。
- 扩展至完整正交基 ：若 $~m > r~$ ，通过 $~\text{Gram-Schmidt}~$ 正交化将 $\{\mathbf{u}_1, \cdots, \mathbf{u}_r\}$ 扩展为 $~\mathbb{R^m}~$ 的正交基 $~\{\mathbf{u}_1,\cdots,\mathbf{u}_m\}~$ ，构成正交矩阵 $~\mathbf{U}~$ 。
构造奇异值矩阵 $~\mathbf{\Sigma}~$

定义 $~m\times n~$ 矩阵 $~\mathbf{\Sigma}~$ 为：
$\mathbf{\Sigma} = \begin{bmatrix}\mathbf{D} & 0 \\ 0 & 0\end{bmatrix}, \quad \mathbf{D} = \begin{bmatrix}\lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n\end{bmatrix}$
其中非零奇异值按降序排列，其余位置填充零。
验证分解 $~\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^T~$
- 计算 $~\mathbf{A}\mathbf{V}~$ ：由 $~\mathbf{A}\mathbf{v}_i = \sigma_i\mathbf{u}_i~(i \leq r)~$ 和 $~\mathbf{A}\mathbf{v}_i = 0~(i > r)~$ ，可得：
  $\mathbf{A}\mathbf{V} = \begin{bmatrix}\sigma_1\mathbf{u}_1 & \cdots & \sigma_r\mathbf{u}_r & 0 & \cdots & 0\end{bmatrix}$
- 组合分解式 ：由于 $~\mathbf{U}\mathbf{\Sigma}~$ 的列结构为 $\begin{bmatrix}\sigma_1\mathbf{u}_1 & \cdots & \sigma_r\mathbf{u}_r & 0 & \cdots & 0\end{bmatrix}$ ，且 $~\mathbf{V}^T~$ 是正交矩阵，因此：
  $\mathbf{U} \mathbf{\Sigma} \mathbf{V}^T = \mathbf{U} \mathbf{\Sigma} \left( \mathbf{V}^T \right) = \mathbf{A} \mathbf{V} \mathbf{V}^T = \mathbf{A}$
唯一性说明
- 奇异值的唯一性 ： $\mathbf{\Sigma}~$ 的对角元素（奇异值）由 $~\mathbf{A}^T\mathbf{A}~$ 的特征值唯一确定，因此是唯一的。
- 矩阵 $~\mathbf{U}~$ 和 $~\mathbf{V}~$ 的非唯一性 ：若存在多个正交基满足条件（例如特征值重复时）， $\mathbf{U}~$ 和 $~\mathbf{V}~$ 的列向量可能有不同选择，但需保证 $~\mathbf{U}\mathbf{\Sigma}\mathbf{V}^T = \mathbf{A}~$ 。

5. 奇异值分解的计算示例

例 $~3~$ ：求 $\mathbf{A} = \begin{bmatrix}4 & 11 & 14 \\ 8 & 7 & -2\end{bmatrix}$ 的一个奇异值分解。

$\mathbf{A}^T\mathbf{A}~$ 的特征值与特征向量已在例 $~1~$ 中求得：

\begin{align*} \lambda_1 &= 360, \quad &\mathbf{v}_1 &= \begin{bmatrix}1/3 \\ 2/3 \\ 2/3\end{bmatrix} \\[4ex] \lambda_2 &= 90, \quad &\mathbf{v}_2 &= \begin{bmatrix}-2/3 \\ -1/3 \\ 2/3\end{bmatrix} \\[4ex] \lambda_3 &= 0, \quad &\mathbf{v}_3 &= \begin{bmatrix}2/3 \\ -2/3 \\ 1/3\end{bmatrix} \end{align*}

将特征向量按特征值降序排列，构造 $~\mathbf{V}~$ ：

\mathbf{V} = \begin{bmatrix}\mathbf{v}_1 & \mathbf{v}_2 & \mathbf{v}_3 \end{bmatrix} = \begin{bmatrix}1/3 & -2/3 & 2/3 \\ 2/3 & -1/3 & -2/3 \\ 2/3 & 2/3 & 1/3\end{bmatrix}

计算奇异值：

\sigma_1 = \sqrt{\lambda_1} = 6\sqrt{10},\quad \sigma_2 = \sqrt{\lambda_2} = 3\sqrt{10},\quad \sigma_3 = \sqrt{\lambda_3} = 0

构造对角矩阵 $~\mathbf{\Sigma}~$ ：

\mathbf{\Sigma} = \begin{bmatrix}6\sqrt{10} & 0 & 0 \\ 0 & 3\sqrt{10} & 0\end{bmatrix}

注意： $\mathbf{\Sigma}~$ 的大小与 $~\mathbf{A}~$ 相同，非零奇异值位于左上角。

计算 $~\mathbf{u}_1~$ 和 $~\mathbf{u}_2~$ ：

\begin{align*} \mathbf{u}_1 &= \frac{1}{\sigma_1}\mathbf{A}\mathbf{v}_1 &= \frac{1}{6\sqrt{10}}\begin{bmatrix}18 \\ 6 \end{bmatrix} &= \begin{bmatrix}3/\sqrt{10} \\ 1/\sqrt{10}\end{bmatrix} \\[4ex] \mathbf{u}_2 &= \frac{1}{\sigma_2}\mathbf{A}\mathbf{v}_2 &= \frac{1}{3\sqrt{10}}\begin{bmatrix}3 \\ -9 \end{bmatrix} &= \begin{bmatrix}1/\sqrt{10} \\ -3/\sqrt{10}\end{bmatrix} \end{align*}

由于 $~\mathbf{A}~$ 是 $~2\times 3~$ 矩阵， $\mathbf{U}~$ 只需包含 $~\mathbf{u}_1~$ 和 $~\mathbf{u}_2~$ ：

\mathbf{U} = \begin{bmatrix}\mathbf{u}_1 & \mathbf{u}_2\end{bmatrix} = \begin{bmatrix}3/\sqrt{10} & 1/\sqrt{10} \\ 1/\sqrt{10} & -3/\sqrt{10}\end{bmatrix}

\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T = \begin{bmatrix}3/\sqrt{10} & 1/\sqrt{10} \\ 1/\sqrt{10} & -3/\sqrt{10}\end{bmatrix}\begin{bmatrix}6\sqrt{10} & 0 & 0 \\ 0 & 3\sqrt{10} & 0\end{bmatrix}\begin{bmatrix}1/3 & 2/3 & 2/3 \\ -2/3 & -1/3 & 2/3 \\ 2/3 & -2/3 & 1/3\end{bmatrix}^T

例 $~4~$ ：求 $~\mathbf{A} = \begin{bmatrix}1 & -1 \\ -2 & 2 \\ 2 & -2\end{bmatrix}~$ 的一个奇异值分解。

计算 $\mathbf{A}^T\mathbf{A}~$ ：

\mathbf{A}^T \mathbf{A} = \begin{bmatrix}1 & -2 & 2 \\ -1 & 2 & -2\end{bmatrix}\begin{bmatrix}1 & -1 \\ -2 & 2 \\ 2 & -2\end{bmatrix} = \begin{bmatrix}9 & -9 \\ 9 & 9\end{bmatrix}

求特征值以及特征向量：

\begin{align*} \lambda_1 &= 18, & \mathbf{v}_1 &= \begin{bmatrix} 1/\sqrt{2} \\ -1/\sqrt{2} \end{bmatrix} \\[3ex] \lambda_2 &= 0, & \mathbf{v}_2 &= \begin{bmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{bmatrix} \end{align*}

构造 $~\mathbf{V}~$ ：

\mathbf{V} = \begin{bmatrix}\mathbf{v}_1 & \mathbf{v}_2\end{bmatrix} = \begin{bmatrix}1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2}\end{bmatrix}

计算奇异值：

\sigma_1 = \sqrt{18} = 3\sqrt{2},\quad \sigma_2 = 0

构造对角矩阵 $~\mathbf{\Sigma}~$ ：

\mathbf{\Sigma} = \begin{bmatrix}3\sqrt{2} & 0 \\ 0 & 0 \\ 0 & 0 \end{bmatrix}

计算 $~\mathbf{u}_1~$ ：由于矩阵 $~\mathbf{A}~$ 只有一个非零奇异值（秩为 $~1~$ ），因此 $~\mathbf{U}~$ 的有效列向量只有一个 $~\mathbf{u}_1~$ ，即：

\mathbf{u}_1 = \frac{1}{\sigma_1}\mathbf{A}\mathbf{v}_1 = \begin{bmatrix}1/3 \\ -2/3 \\ 2/3\end{bmatrix}

而 $~\mathbf{U}~$ 是一个 $~3\times 3~$ 的正交矩阵。为了构造完整的 $~\mathbf{U}~$ ，我们需要拓展 $~\{\mathbf{u}_1\}~$ 为 $~\mathbb{R^3}~$ 的标准正交基。这意味着需要找到两个与 $~\mathbf{u}_1~$ 正交的向量 $~\mathbf{u}_2~$ 和 $~\mathbf{u}_3~$ ，使得 $~\mathbf{U} = \begin{bmatrix}\mathbf{u}_1 & \mathbf{u}_2 & \mathbf{u}_3\end{bmatrix}~$ 是一个正交矩阵。

构造与 $~\mathbf{u}_1~$ 正交的向量 ：

与 $~\mathbf{u}_1~$ 正交的条件是：
$\mathbf{u}_1^T\mathbf{w} = 0\quad \Rightarrow \frac{1}{3}w_1 - \frac{2}{3}w_2 + \frac{2}{3} = 0$
化简得到：
$w_1 - 2w_2 + 2w_3 = 0$
选择两个线性无法的解向量：
$\mathbf{w}_1 = \begin{bmatrix}2 \\ 1 \\ 0\end{bmatrix},\quad \mathbf{w}_2 = \begin{bmatrix}-2 \\ 0 \\ 1\end{bmatrix}$
利用 $~\text{Gram-Schmidt}~$ 方法正交化 $~\mathbf{w}_1~$ 和 $~\mathbf{w}_2~$ ：
$\mathbf{u}_2 = \begin{bmatrix}2/\sqrt{5} \\ 1/\sqrt{5} \\ 0\end{bmatrix},\quad \mathbf{u}_3 = \begin{bmatrix}-2/\sqrt{45}\\ 4/\sqrt{45} \\ 5/\sqrt{45}\end{bmatrix}$

最终得到矩阵 $~\mathbf{U}~$ ：

\mathbf{U} = \begin{bmatrix}1/3 & 2/\sqrt{5} & -2/\sqrt{45} \\ -2/3 & 1/\sqrt{5} & 4/\sqrt{45} \\ 2/3 & 0 & 5/\sqrt{45}\end{bmatrix}

A = U \Sigma V^T = \begin{bmatrix}1/3 & 2/\sqrt{5} & -2/\sqrt{45} \\ -2/3 & 1/\sqrt{5} & 4/\sqrt{45} \\ 2/3 & 0 & 5/\sqrt{45}\end{bmatrix}\begin{bmatrix}3\sqrt{2} & 0 \\ 0 & 0 \\ 0 & 0\end{bmatrix}\begin{bmatrix}1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{2} & 1/\sqrt{2}\end{bmatrix}

6. 奇异值分解的应用

6.1 条件数

背景：在数值计算中，尤其是在求解线性方程 $~\mathbf{A}\mathbf{x}=\mathbf{b}~$ 的过程中，计算结果容易受到输入误差和舍入误差的放大影响，从而导致解的不稳定性。这就需要一个指标来"量化"矩阵 $~\mathbf{A}~$ 的"稳定性"或"敏感性"——条件数 $~(~\textbf{condition number}~)~$ 由此而来。

定义

条件数

对于任意一个实矩阵 $~\mathbf{A} \in \mathbb{R}~$ 其条件数（基于 2-范数）定义为：

\kappa_2(A) = \frac{\sigma_{\max}(A)}{\sigma_{\min}(A)}

其中：

$\sigma_{max}(\mathbf{A})$ ： $\mathbf{A}~$ 的最大奇异值
$\sigma_{min}(\mathbf{A})$ ： $\mathbf{A}~$ 的最小奇异值
若 $~\mathbf{A}~$ 非满秩（即存在奇异值为 $~0~$ ），则 $~\kappa_2(\mathbf{A}) = \infty~$

条件数的几何意义 ：条件数衡量矩阵对空间的拉伸扭曲程度，几何上条件数越大，单位球越被拉成长扁椭球，意味着解对扰动越敏感，数值越不稳定。总之，条件数越大，解对误差越敏感。

为什么用奇异值定义条件数 ：奇异值描述了矩阵 $~\mathbf{A}~$ 如何将单位球变形成椭球，其半轴长度正是奇异值。最大与最小奇异值之比（即条件数）刻画了变换的"扁平程度"，反映了解对误差的敏感性。 $\text{SVD}~$ 分解中的两个正交矩阵 $~\mathbf{U}~$ 和 $~\mathbf{V}~$ 不改变长度与角度，不影响稳定性，因此所有的不稳定性都集中体现在奇异值上 。这使得用奇异值定义条件数，既有几何直观性，又能准确反映数值风险的来源。

6.2 利用奇异值分解提取子空间正交基

$\mathbf{A}~$ 的列空间的正交基 $~(\text{Col}\mathbf{A})~$ ：通过奇异值分解 $~\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^T~$ ，我们知道前 $~r~$ 个左奇异向量 $~\mathbf{u}_1,~\cdots,~\mathbf{u}_r~$ 对应非零奇异值。根据定理 $~9~$ ，它们所张成的子空间正是 $~\mathbf{A}~$ 的列空间 $~(\text{Col}\mathbf{A})~$ ：
$\text{Col}(\mathbf{A}) = \text{span}\{\mathbf{u}_1, ..., \mathbf{u}_r\}$
这意味着，任何 $~\mathbf{A}~$ 的列线性组合所构成的向量，都可以由这组向量组合生成。
$\mathbf{A}^T$ 的零空间的正交基 $~(\text{Null}\mathbf{A}^T)~$ ：由于 $~(\text{Null}\mathbf{A}^T)~$ 是 $~\text{Col}(\mathbf{A})~$ 的正交补空间（即与列空间正交的所有向量），即： $(\text{Col } A)^\perp = \text{Nul}(A^T)$ 。因此奇异值分解中剩下的左奇异向量 $\mathbf{u}_{r+1},~\cdots \mathbf{u}_m$ 就构成了 $~(\text{Null}\mathbf{A}^T)~$ 的正交基：
$\text{Nul}(A^T) = \text{span}\{\mathbf{u}_{r+1}, ..., \mathbf{u}_m\}$
这些向量与 $~\mathbf{A}~$ 的列方向正交，代表 $~\mathbf{A}~$ 无法映射到的方向。
零空间的正交基 $~(\text{Null}\mathbf{A})$ ：从右奇异向量出发，对于那些对应奇异值为 $~0~$ 的 $~\mathbf{v}_{r+1},~\cdots \mathbf{v}_n~$ ，有：
$\mathbf{A}\mathbf{v}_i = 0 \quad \small{当 } i > r$
所以这些向量属于 $~\mathbf{A}~$ 的零空间（即被 $~\mathbf{A}~$ 映射为 $~\mathbf{0}~$ 的向量）。因此：
$\text{Nul}(\mathbf{A}) = \text{span}\{v_{r+1}, ..., v_n\}$
它们是零空间的一个正交基（因为 $~\mathbf{V}~$ 是正交矩阵，其列互相正交）。
行空间的正交基 $~(\text{Row}\mathbf{A})~$ ： $\mathbf{A}~$ 的行空间等价于 $~\mathbf{A}~$ 的转置的列空间，也就是：
$\text{Row}(A) = \text{Col}(A^T) = (\text{Nul}(A))^\perp$
因此，与非零奇异值对应的右奇异向量 $~\mathbf{v}_1,~\cdots \mathbf{v}_r~$ 就构成了行空间的正交基：
$\text{Row}(A) = \text{span}\{v_1, ..., v_r\}$

定理

可逆矩阵定理

设 $~\mathbf{A}~$ 是一个 $~n\times n~$ 的方阵。以下命题等价于 “ $~\mathbf{A}~$ 是可逆矩阵” 这一命题：

$(\text{Col}\mathbf{A})^\perp = \{\mathbf{0}\}\quad$ 列空间的正交补仅包含零向量
$(\text{Null}\mathbf{A})^\perp = \mathbb{R}^n\quad$ 零空间的正交补为整个 $~\mathbb{R}^n~$
$\text{Row}\mathbf{A} = \mathbb{R}^n\quad$ 行空间等于整个 $~\mathbb{R}^n~$
$\mathbf{A}~$ 有 $~n~$ 个非零奇异值，即 $~\mathbf{A}~$ 的所有奇异值均不为 $~0~$

7. 进阶内容：简化 $\text{SVD}~$ 与伪逆

7.1 简化奇异值分解的形式

当矩阵 $~\mathbf{A}~$ 的秩为 $~r~$ ，其奇异值分解中的矩阵 $~\mathbf{\Sigma}~$ （即 $\Sigma = \text{diag}(\sigma_1, ..., \sigma_r, 0, ..., 0)$ ）包含大量零行或零列时，可以只保留非零部分，构造更紧凑的分解形式 ：

\mathbf{A} = \mathbf{U}_r \mathbf{D} \mathbf{V}_r^T

其中：

$\mathbf{U}_r$ ：取 $~\mathbf{A}~$ 左奇异向量的前 $~r~$ 列，维度是 $~m\times r~$
$\mathbf{D}$ ： $~r\times r~$ 对角矩阵，包含前 $~r~$ 个非零奇异值
$\mathbf{V}_r$ ：右奇异向量的前 $~r~$ 列，维度是 $~n\times r~$

这个分解形式称为简化奇异值分解 $~(~\textbf{Reduced SVD}~)~$ ，它不仅能够保留矩阵的核心结构信息，还大大降低了计算复杂度与存储开销，特别适用于那些秩远小于维度的矩阵，如图像压缩与特征提取等实际应用场景。

7.2 伪逆的定义公式

在实际问题中，许多矩阵不可逆或维数不匹配，导致方程 $~\mathbf{A}\mathbf{x} = \mathbf{b}~$ 无法直接求解。这时我们需要一种广义的"逆"来处理这些欠定或超定线性方程组。伪逆 $~(~\textbf{pseudoinverse}，\text{也称为}~\textbf{Moore-Penrose}~\textbf{逆}~)~$ 正是为此而引入的，它可以通过简化 $\text{SVD}~$ 直接构造如下：

\mathbf{A}^+ = \mathbf{V}_r \mathbf{D}^{-1} \mathbf{U}_r^T

其中：

$\mathbf{D}^{-1}$ ：非零奇异值构成的对角矩阵 $~\mathbf{D}~$ 的逆
$\mathbf{U}_r^{T}$ ：左奇异向量子矩阵的转置
$\mathbf{V}_r$ ：右奇异向量子矩阵

伪逆尤其适用于无解情况下的最小二乘逼近问题。它为无法直接求逆的矩阵提供了一种稳定、通用的"广义逆"，在数据拟合、信号处理和机器学习等领域具有重要意义。

7.3 用伪逆求解最小二乘问题

例 $~8~$ ：设线性方程组 $~\mathbf{A}\mathbf{x} = \mathbf{b}~$ 没有精确解。其中 $~\mathbf{A}~$ 是一个 $~m\times n~$ 的矩阵，它可能是超定的（即 $~m > n~$ ）或不可逆； $\mathbf{b} \in \mathbb{R}^m$ 。请使用 $~\text{SVD}~$ 分解和伪逆来求出使得 $~\|\mathbf{A}\mathbf{x} - \mathbf{b}\|~$ 最小的二乘解 $~\hat{\mathbf{x}}~$ 。

将 $~\mathbf{A}~$ 的伪逆公式代入最小二乘解的公式：

\mathbf{x} = \mathbf{A}^+ \mathbf{b} = \mathbf{V}_r \mathbf{D}^{-1} \mathbf{U}_r^T \mathbf{b}

将其代入原方程左边 $~\mathbf{A}\hat{\mathbf{x}}~$ ，得到：

\mathbf{A}\hat{\mathbf{x}} = \mathbf{A}\mathbf{A}^+ \mathbf{b} = (\mathbf{U}_r \mathbf{D} \mathbf{V}_r^T)(\mathbf{V}_r \mathbf{D}^{-1} \mathbf{U}_r^T \mathbf{b})

由于 $~\mathbf{V}_r\mathbf{V}^T = \mathbf{I}_r~$ ，这是因为 $~\mathbf{V}_r~$ 是正交矩阵的一部分，列向量两两正交且单位化，因此有：

\mathbf{A}\hat{\mathbf{x}} = \mathbf{U}_r \mathbf{D} \mathbf{D}^{-1} \mathbf{U}_r^T \mathbf{b} = \mathbf{U}_r \mathbf{U}_r^T \mathbf{b}

矩阵 $~\mathbf{U}_r~$ 的列向量组成了 $~\mathbf{A}~$ 的列空间 $~\text{Col}(\mathbf{A})~$ 的一个正交基
矩阵 $~\mathbf{U}_r~$ 恰好是将任意向量 $~\mathbf{b}~$ 投影到 $~\text{Col}(\mathbf{A})~$ 上的正交投影矩阵
因此：
$\mathbf{A}\hat{\mathbf{x}} = \mathbf{U}_r \mathbf{U}_r^T \mathbf{b} = \hat{\mathbf{b}}$
其中 $~\hat{\mathbf{b}}~$ 是向量 $~\mathbf{b}~$ 在 $~\text{Col}(\mathbf{A})~$ 上的正交投影。

7.3 约束优化

7.5 在图形处理和统计学中的应用

奇异值分解

1. 奇异值分解的背景

1对称性

2半正定性

3可正交对角化

2. SVD \text{SVD}~SVD 的基本概念与几何意义

解例 1 ~1~ 1

3. 奇异值的定义与性质

解例 2 ~2~ 2

证定理 9 ~9~ 9

4. 奇异值分解的构造方法

证定理 10 ~10~ 10

5. 奇异值分解的计算示例

1第一步：计算 ATA ~\mathbf{A}^T\mathbf{A}~ ATA 并求其特征值与特征向量

2第二步：构造 V ~\mathbf{V}~ V 和 Σ ~\mathbf{\Sigma}~ Σ

3第三步：构造 U ~\mathbf{U}~ U

4SVD\text{SVD}SVD 的结果

1第一步：计算 ATA ~\mathbf{A}^T\mathbf{A}~ ATA 并求其特征值与特征向量

2第二步：构造 V ~\mathbf{V}~ V 和 Σ ~\mathbf{\Sigma}~ Σ

3第三步：构造 U ~\mathbf{U}~ U

4SVD\text{SVD}SVD 的结果

6. 奇异值分解的应用

6.1 条件数

6.2 利用奇异值分解提取子空间正交基

7. 进阶内容：简化 SVD \text{SVD}~SVD 与伪逆

7.1 简化奇异值分解的形式

7.2 伪逆的定义公式

7.3 用伪逆求解最小二乘问题

1第一步：利用伪逆公式计算最小二乘解

2第二步：验证 Ax^ ~\mathbf{A}\hat{\mathbf{x}}~ Ax^ 是对 b ~\mathbf{b}~ b 的正交投影

3结果分析

2. $\text{SVD}~$ 的基本概念与几何意义

7. 进阶内容：简化 $\text{SVD}~$ 与伪逆