1. 对称矩阵的定义
对称矩阵 ( symmetric matrix \textbf{symmetric matrix} symmetric matrix )是指满足 A T = A ~\mathbf{A}^T = \mathbf{A}~ A T = A 的方阵,即主对角线两侧元素相等(如 a i j = a j i ~a_{ij} = a_{ji}~ a ij = a ji ),其对称性反映了系统或数据的对称结构。由于实对称矩阵具有所有特征值为实数,且不同特征值的特征向量正交等独特性质,这便于通过正交矩阵实现正交对角化( A = P D P T \mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^T A = PD P T )、简化矩阵计算和分解,因此它在物理学(如描述系统动态和振动分析)、统计学(如主成分分析中的协方差矩阵建模)和工程(如优化与控制问题)中得到广泛应用。
2. 对称矩阵的正交对角化
我们在 对角化 一节讨论过如何对复杂矩阵进行对角化来简化矩阵运算。对称矩阵的对角化过程和普通矩阵类似,下面通过一个示例来演示这个过程:
A = [ 6 − 2 − 1 − 2 6 − 1 − 1 − 1 5 ] \mathbf{A} = \begin{bmatrix}
6 & -2 & -1 \\
-2 & 6 & -1 \\
-1 & -1 & 5
\end{bmatrix} A = 6 − 2 − 1 − 2 6 − 1 − 1 − 1 5 在上面的步骤 1 ~1~ 1 中,我们注意到对称矩阵 A ~\mathbf{A}~ A 的特征向量是正交的,这一性质并非偶然,而是实对称矩阵的一个重要的固有特性。有如下定理:
上面对矩阵 A ~\mathbf{A}~ A 进行的对角化过程又称为正交对角化 ( orthogonally diagonalizable ~\textbf{orthogonally diagonalizable}~ orthogonally diagonalizable ),它将一个 n × n ~n\times n~ n × n 矩阵 A ~\mathbf{A}~ A ,分解为一个正交矩阵 P ~\mathbf{P}~ P 和一个对角矩阵 D ~\mathbf{D}~ D :
A = P D P T = P D P − 1 \mathbf{A} = \mathbf{P} \mathbf{D} \mathbf{P}^T = \mathbf{P} \mathbf{D} \mathbf{P}^{-1} A = PD P T = PD P − 1
这里的 P T ~\mathbf{P}^T~ P T 等于 P − 1 ~\mathbf{P}^{-1}~ P − 1 是正交矩阵的特性,因此 P D P T \mathbf{P} \mathbf{D} \mathbf{P}^T PD P T 和 P D P − 1 \mathbf{P} \mathbf{D} \mathbf{P}^{-1} PD P − 1 在正交矩阵的情况下是等价的。
3. 正交对角化对称矩阵的条件
在对角化 对角化 一节中,我们在讨论过判断任意 n × n ~n\times n~ n × n 矩阵 A ~\mathbf{A}~ A 是否可对角化通常 很困难 。但如何矩阵 A ~\mathbf{A}~ A 是实对称矩阵(即 A = A T ~\mathbf{A} = \mathbf{A}^T~ A = A T ),则 A ~\mathbf{A}~ A 总是可以正交对角化。其正交矩阵 P ~\mathbf{P}~ P 的列向量是 A ~\mathbf{A}~ A 的 n ~n~ n 个标准正交特征向量,且 A = P D P T \mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^T A = PD P T ,其中 D ~\mathbf{D}~ D 是一个对角矩阵,其对角元素是 A ~\mathbf{A}~ A 对应的特征值。
3.1 正交对角化的充要条件
确定一个矩阵是否能够被正交对角化,结合前述内容有如下定理:
对于定理 2 ~2~ 2 的充分条件(即 A ~\mathbf{A}~ A 可正交对角化 ⇒ ~\Rightarrow~ ⇒ A \mathbf{A}~ A 是对称矩阵)的证明通过直接矩阵转置运算即可验证:如果 A ~\mathbf{A}~ A 可正交对角化,即 A = P D P T \mathbf{A} = \mathbf{P} \mathbf{D} \mathbf{P}^T A = PD P T ,那么计算 A T ~\mathbf{A}^T~ A T :
A T = ( P D P T ) T = P T T D T P T = P D P T = A \mathbf{A}^T = (\mathbf{P} \mathbf{D} \mathbf{P}^T)^T = \mathbf{P}^{TT} \mathbf{D}^T \mathbf{P}^T = \mathbf{P} \mathbf{D} \mathbf{P}^T = \mathbf{A} A T = ( PD P T ) T = P TT D T P T = PD P T = A
而必要条件(即矩阵 A ~\mathbf{A}~ A 为对称矩阵 ⇒ ~\Rightarrow~ ⇒ A \mathbf{A}~ A 可对角化)的证明较为复杂,需要依赖线性代数的深层理论,如谱定理和施密特正交化过程。
3.2 重复特征值的情况
与普通矩阵类似,对称矩阵的正交对角化并不要求特征值必须唯一,即使特征值重复,依然可以通过正交基实现正交对角化。请看下面的示例,对矩阵 A ~\mathbf{A}~ A 进行正交对角化:
A = [ 3 − 2 4 − 2 6 2 4 2 3 ] \mathbf{A} = \begin{bmatrix}
3 & -2 & 4 \\
-2 & 6 & 2 \\
4 & 2 & 3
\end{bmatrix} A = 3 − 2 4 − 2 6 2 4 2 3 4. 谱定理
在线性代数中,矩阵的特征值的集合被称为 “谱 ”( spectrum \textbf{spectrum} spectrum ) 。下面的谱定理是关于对称矩阵的一个核心定理,它系统性地描述了 n × n ~n\times n~ n × n 对称矩阵 A ~\mathbf{A}~ A 的特征值和特征向量的性质。
5. 谱分解
谱分解( Spectral Decomposition \text{Spectral Decomposition} Spectral Decomposition )是对谱定理的直接应用。它是一种在线性代数中将矩阵分解为基于其特征值和特征向量的形式的方法,特别适用于对称矩阵。
5.1 什么是谱分解
具体来说,对于一个 n × n ~n\times n~ n × n 的对称矩阵 A ~\mathbf{A}~ A ,如果 A ~\mathbf{A}~ A 是正交可对角化的(即 A = P D P T \mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^T A = PD P T ),那么 A ~\mathbf{A}~ A 可以表示为以下形式:
A = P D P T = [ u 1 … u n ] [ λ 1 ⋯ 0 0 ⋱ 0 0 ⋯ λ n ] [ u 1 T … u n T ] = [ λ 1 u 1 … λ n u n ] [ u 1 T ⋮ u n T ] \begin{align*}\mathbf{A} = \mathbf{P} \mathbf{D} \mathbf{P}^T
&=
\begin{bmatrix}
\mathbf{u}_1 & \dots & \mathbf{u}_n
\end{bmatrix}
\begin{bmatrix}
\lambda_1 & \cdots & 0 \\
0 & \ddots & 0 \\
0 & \cdots & \lambda_n
\end{bmatrix}
\begin{bmatrix}
\mathbf{u}_1^T \\ \dots \\ \mathbf{u}_n^T
\end{bmatrix}\\[4ex]
&=\begin{bmatrix}
\lambda_1 \mathbf{u}_1 & \dots & \lambda_n \mathbf{u}_n
\end{bmatrix}
\begin{bmatrix}
\mathbf{u}_1^T \\
\vdots \\
\mathbf{u}_n^T
\end{bmatrix}
\end{align*} A = PD P T = [ u 1 … u n ] λ 1 0 0 ⋯ ⋱ ⋯ 0 0 λ n u 1 T … u n T = [ λ 1 u 1 … λ n u n ] u 1 T ⋮ u n T
根据 列-行展开定理 可得:
A = λ 1 u 1 u 1 T + λ 2 u 2 u 2 T + ⋯ + λ n u n u n T \mathbf{A} = \lambda_1 \mathbf{u}_1 \mathbf{u}_1^T + \lambda_2 \mathbf{u}_2 \mathbf{u}_2^T + \cdots + \lambda_n \mathbf{u}_n \mathbf{u}_n^T A = λ 1 u 1 u 1 T + λ 2 u 2 u 2 T + ⋯ + λ n u n u n T
这里的 u i ~\mathbf{u}_i~ u i 是单位特征向量(正交且模为 1 ~1~ 1 ), λ i ~\lambda_i~ λ i 是对应的特征值,每个 λ i u i u i T ~\lambda_i\mathbf{u}_i\mathbf{u}_i^T~ λ i u i u i T 是一个秩为 1 ~1~ 1 的矩阵(列空间或行空间是一维的),表示将向量投影到由 u i ~\mathbf{u}_i~ u i 所张成的子空间上,并按 λ i ~\lambda_i~ λ i 进行缩放。谱分解展示了矩阵如何在不同方向(由特征向量表示)上"伸缩"或"投影"(由特征值表示)。对于对称矩阵,这种分解是唯一的,且完全由其谱(特征值)和对应的正交特征向量决定。
5.2 为什么要做谱分解
谱分解在理论和实践中具有重要意义,主要原因如下:
5.3 谱分解的示例
构造矩阵 A ~\mathbf{A}~ A 的谱分解,已知对称矩阵 A ~\mathbf{A}~ A 的正交对角化如下:
A = [ 7 2 2 4 ] = [ 2 / 5 − 1 / 5 1 / 5 2 / 5 ] [ 8 0 0 3 ] [ 2 / 5 1 / 5 − 1 / 5 2 / 5 ] \mathbf{A} =
\begin{bmatrix}
7 & 2 \\
2 & 4
\end{bmatrix}
=
\begin{bmatrix}
2/\sqrt{5} & -1/\sqrt{5} \\
1/\sqrt{5} & 2/\sqrt{5}
\end{bmatrix}
\begin{bmatrix}
8 & 0 \\
0 & 3
\end{bmatrix}
\begin{bmatrix}
2/\sqrt{5} & 1/\sqrt{5} \\
-1/\sqrt{5} & 2/\sqrt{5}
\end{bmatrix} A = [ 7 2 2 4 ] = [ 2/ 5 1/ 5 − 1/ 5 2/ 5 ] [ 8 0 0 3 ] [ 2/ 5 − 1/ 5 1/ 5 2/ 5 ]
下面是谱分解的具体步骤: