特征向量和特征值

1. 特征向量和特征值的定义

在线性变换中，有一种特殊情况，即变换后的向量方向保持不变，仅在长度上发生缩放。这种特性在很多应用中很有价值，例如在 人脸识别中 ，算法通过提取脸部几何特征（如眼睛间距与鼻子宽度的比例），来生成数据的 主要特征 （由向量表示）。这些特征在环境光照、人脸表情、拍摄角度等 外部条件变化下 依然能够保持相对稳定，从而我们可以忽略发型、妆容等无关信息，算法只依靠脸部的主要特征就可以确定人脸对应的身份信息。接下来，我们通过一个具体的示例来直观展示这种变换的过程：

上面示例中的矩阵 $~\mathbf{A}~$ 对向量 $~\mathbf{v}~$ 施加变换后，得到的向量 $~\mathbf{Av}~$ 相比 $~\mathbf{v}~$ 的方向并没有发生变化，它仅在长度上放大了 $~2~$ 倍，我们称这个放大倍数 $~2~$ 为矩阵 $~\mathbf{A}~$ 的 特征值 $~(\textbf{Eigenvalue})~$ 。向量 $~\mathbf{v}~$ 称为与 $~2~$ 对应的 特征向量 $~(\textbf{Eigenvector})~$ 。更为严谨的定义如下：

2. 判断特征向量与特征值

我们首先讨论一个基本问题：如何判断某个向量是否为矩阵 $~\mathbf{A}~$ 的特征向量？根据定义，这可以通过以下步骤判断：计算矩阵 $~\mathbf{A}~$ 与向量 $~\mathbf{v}~$ 的乘积，并检查结果是否等于某个标量 $~\lambda~$ 乘以 $~\mathbf{v}~$ 。如果存在这样的 $~\lambda~$ ，则 $~\mathbf{v}~$ 是 $~\mathbf{A}~$ 的特征向量，而 $~\lambda~$ 是对应的特征值。以下是具体的示例：

我们再来看另一个基本问题：如何判断某个标量值是否为矩阵 $~\mathbf{A}~$ 的特征值。求解这个问题的步骤也比较简单，请看下面的示例（判断标量 $~7~$ 是否为矩阵 $~\mathbf{A}=\begin{bmatrix}1 & 6 \\ 5 & 2\end{bmatrix}~$ 的特征值）：

判断标量值 $~\lambda~$ 是否为矩阵 $~\mathbf{A}~$ 的特征值，根据定义，实际就是求矩阵方程 $(\mathbf{A}-\lambda\mathbf{I})\,\mathbf{x}=\mathbf{0}$ 是否存在非平凡解（即 $~\mathbf{x}\neq 0~$ ）。经过计算，标量 $~7~$ 是矩阵 $~\mathbf{A}~$ 的特征值，它对应的特征向量 $~t_1\begin{bmatrix}1 & 1\end{bmatrix}^T,~t_1\neq 0~$ 。除了标量 $~\lambda_1=7~$ 之外，标量 $~\lambda_2=-4~$ 也是矩阵 $~\mathbf{A}~$ 的特征值，$~\lambda_2~$ 对应的特征向量为 $~t_2\begin{bmatrix}-6 & 5\end{bmatrix}^T,~t_2\neq 0~$ （下一节 我们会介绍求特征值的方法）。

3. 特征空间与几何意义

方程 $(\mathbf{A}-\lambda\mathbf{I})\mathbf{x}=\mathbf{0}$ 的所有解构成矩阵 $~\mathbf{A}-\lambda\mathbf{I}~$ 的 零空间 ，它称为矩阵 $~\mathbf{A}~$ 对应特征值 $~\lambda~$ 的 特征空间 $~(\textbf{eigenspace})~$ 。特征空间是向量空间 $~\mathbb{R^n}~$ 的一个子空间，它包含所有特征向量以及零空间。其几何意义在于它揭示了在 $~\mathbf{\mathbf{x}\mapsto \mathbf{A}\mathbf{x}}~$ 变换中，哪些向量在矩阵作用下仅被缩放而方向保持不变。如下动画所示，每个特征值对应一条通过原点的直线。

4. 特征空间的基

求特征空间的基的方法如下：对于给定的矩阵 $~\mathbf{A}~$ 和特征值 $~\lambda~$ ，构造矩阵 $(\mathbf{A}-\lambda\mathbf{I})$ 并求解齐次线性方程组 $(\mathbf{A}-\lambda\mathbf{I})\mathbf{x}=\mathbf{0}$ 。通过行化简得到解的通解形式，从中提取线性无关的特征向量，这些向量构成特征空间的基。下面的动画过程展示了这个过程：

示例中矩阵 $~\mathbf{A}~$ 的特征值 $~\lambda=2~$ 对应的特征空间的一组基如下（$~x_2=2~$）：

它对应的特征空间是 $~\mathbb{R^3}~$ 中的一个二维子空间。

5. 三角矩阵的特征值性质

在研究特征值和特征向量的过程中，计算特征值 是理解矩阵特性的重要一步。特征值的分布决定了特征空间的结构。 对于三角矩阵 ，其特征值计算更为简单。有如下定理：

定理 $~1~$ 的结论可以帮助我们快速判断三角矩阵的特征值。请看下面这个示例：

需要特别注意的是特征值为 $~0~$ 的情况：当矩阵 $~\mathbf{A}~$ 存在特征值为 $~0~$ 时，满足方程：

这表明矩阵 $~\mathbf{A}~$ 的线性变换将与 $~\lambda=0~$ 对应的特征向量 $~\mathbf{x}~$ 映射到零向量，几何上可以理解为这些向量被压缩到原点。另外，若三角矩阵的对角线元素存在 $~0~$ ，也意味着矩阵 $~\mathbf{A}~$ 不可逆 。

6. 特征向量的线性独立性

特征空间的基体现了特征向量的线性独立性，而特征值的不同性则与特征向量的线性无关性密切相关。这是特征向量的一个重要特性，有如下定理：

定理 $~2~$ 将特征向量的几何意义（方向）与代数性质（线性无关）相结合，说明不同特征值对应的特征向量可以构成线性无关的基。这一性质可被用于矩阵分解、数据降维等实际应用中。

7. 特征向量在差分方程中的应用

本节最后介绍如何利用特征向量构造一阶差分方程的解。考虑如下形式的差分方程：

如果 $~\mathbf{A}~$ 是一个 $~n \times n~$ 矩阵，则上式是对 $~\mathbb{R}^n~$ 中序列 $~\{\mathbf{x}_k\}~$ 的 递归描述 。差分方程的 解 是对 $~\{\mathbf{x}_k\}~$ 的显式描述，其中每个 $~\mathbf{x}_k~$ 的公式不依赖于矩阵 $~\mathbf{A}~$ 或序列中的前项，而只依赖于初始项 $~\mathbf{x}_0~$ 。

构造解的最简单方法是：取一个特征向量 $~\mathbf{x}_0~$ 及其对应的特征值 $~\lambda~$ ，令

这个序列确实是差分方程的解，因为

此外，形如上式的解的线性组合也是差分方程的解。