正交投影

正交投影将一个向量分解为其在子空间上的投影和正交分量。它在最小二乘法中起着核心作用，通过找到子空间内最接近目标向量的点，帮助求解线性方程的最优解。正交投影不仅确保误差最小化，还为高维空间中的数据降维、信号处理等应用提供了理论基础。

1. 正交投影和正交分解

这一节，我们将正交投影推广到 $~\mathbb{R^n}~$ 中来讨论。在 $~\mathbb{R^n}~$ 中，给定向量 $~\mathbf{y}~$ 和子空间 $~W~$ ，可以找到唯一的向量 $~\hat{\mathbf{y}}\in W~$ ，使得 $~\mathbf{y} - \hat{\mathbf{y}}~$ 正交于 $~W~$ ，同时 $~\hat{\mathbf{y}}~$ 也是 $~W~$ 中最接近 $~\mathbf{y}~$ 的向量。因此，我们可以将 $~\mathbf{y}~$ 唯一地分解为：

\mathbf{y} = \mathbf{z}_1 + \mathbf{z}_2 \tag{1}

其中 $~\mathbf{z}_1~$ 在 $~W~$ 内， $~\mathbf{z}_2~$ 在 $~W^\perp~$ （正交补空间）内。例如在一个五维空间的正交基 $~\mathcal{U} = \{\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3,\mathbf{u}_4,\mathbf{u}_5,\}~$ 下，对 $~\mathbb{R^5}~$ 中任意给定向量 $~\mathbf{y}~$ 用同样的方式进行分解：

\mathbf{y} = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + c_3 \mathbf{u}_3 + c_4 \mathbf{u}_4 + c_5 \mathbf{u}_5

我们可以对 $~\mathbf{y}~$ 按照 $~(1)~$ 式进行拆分：

\mathbf{y} = \overset{\textcolor{#2196f3}{\mathbf{z}_1}}{\textcolor{#2196f3}{\overbrace{\textcolor{#000000}{(c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2)}}}} + \overset{\textcolor{#2196f3}{\mathbf{z}_2}}{\textcolor{#2196f3}{\overbrace{\textcolor{#000000}{(c_3 \mathbf{u}_3 + c_4 \mathbf{u}_4 + c_5 \mathbf{u}_5)}}}}

如果 $~\mathbf{z}_1~$ 在子空间 $~W = \text{Span} \{\mathbf{u}_1,\mathbf{u}_2\}~$ 内，那么 $~\mathbf{z}_2~$ 一定在 $~W^\perp~$ 内。我们可以进一步推广到更一般的情况，即不需要整个空间的正交基，只需要 $~W~$ 自己的正交基即可计算正交投影，有如下定理：

定理 8

正交分解定理

设 $~W~$ 是 $~\mathbb{R^n}~$ 的一个子空间，则任意向量 $~\mathbf{y} \in \mathbb{R^n}~$ 都可以唯一地表示为：

\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z}

其中， $~\hat{\mathbf{y}} \in W,~~\mathbf{z} \in W^\perp~$ 。实际上，如果 $~\{\mathbf{u}_1,\mathbf{u}_2,\cdots ,\mathbf{u}_p\}~$ 是 $~W~$ 的任意一个正交基，则：

\hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2 + \cdots + \frac{\mathbf{y} \cdot \mathbf{u}_p}{\mathbf{u}_p \cdot \mathbf{u}_p} \mathbf{u}_p \tag{2}

而正交分量 $~\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}}~$ 。

令 $~\hat{\mathbf{y}}~$ 按照公式定义：
$\hat{\mathbf{y}} = \sum_{i=1}^{p} \frac{\mathbf{y} \cdot \mathbf{u}_i}{\mathbf{u}_i \cdot \mathbf{u}_i} \mathbf{u}_i$
其中 $~\{\mathbf{u}_1, \dots, \mathbf{u}_p\}~$ 是 $~W~$ 的正交基，因此 $~\hat{\mathbf{y}} \in W~$ 。
定义 $~\mathbf{z}~$ ：
$\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}}$
我们需要验证 $~\mathbf{z}~$ 是否在 $~W^\perp~$ 中，即 $~\mathbf{z}~$ 是否与 $~W~$ 中的每个基向量 $\mathbf{u}_i$ 正交。
计算内积：
$\mathbf{z} \cdot \mathbf{u}_1 = (\mathbf{y} - \hat{\mathbf{y}}) \cdot \mathbf{u}_1 = \mathbf{y} \cdot \mathbf{u}_1 - \left( \sum_{i=1}^{p} \frac{\mathbf{y} \cdot \mathbf{u}_i}{\mathbf{u}_i \cdot \mathbf{u}_i} \mathbf{u}_i \right) \cdot \mathbf{u}_1$
由于 $~\mathbf{u}_1\cdot \mathbf{u}_i = 0,(i\neq 1)~$ ，因此对上式展开后，仅保留 $~i=1~$ 的项：
$\mathbf{y} \cdot \mathbf{u}_1 - \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} (\mathbf{u}_1 \cdot \mathbf{u}_1) = \mathbf{y} \cdot \mathbf{u}_1 - \mathbf{y} \cdot \mathbf{u}_1 = 0$
对于所有 $~\mathbf{u}_j~(j=1, \dots, p)~$ 都可以用相同的方法证明 $\mathbf{z} \cdot \mathbf{u}_j = 0$ ，因此 $~\mathbf{z} \in W^\perp$ 。

假设 $~\mathbf{y}~$ 也可以写成另一种分解形式：
$\mathbf{y} = \hat{\mathbf{y}}_1 + \mathbf{z}_1$
其中 $~\hat{\mathbf{y}}_1 \in W, \,\mathbf{z}_1 \in W^\perp$ 。
由两种分解形式相等：
$\hat{\mathbf{y}} + \mathbf{z} = \hat{\mathbf{y}}_1 + \mathbf{z}_1$
整理得到：
$\hat{\mathbf{y}} - \hat{\mathbf{y}}_1 = \mathbf{z}_1 - \mathbf{z}$
由于 $~\hat{\mathbf{y}}, \hat{\mathbf{y}}_1 \in W~$ ，且 $~\mathbf{z}, \mathbf{z}_1 \in W^\perp~$ ，因此 $~\mathbf{v} = \hat{\mathbf{y}} - \hat{\mathbf{y}}_1~$ 既属于 $~W~$ ，又属于 $~W^\perp~$ 。但 $~W^\perp~$ 中的元素必须正交于 $~W~$ 内的所有向量。因此：
$\mathbf{v} \cdot \mathbf{v} = 0 \Rightarrow \mathbf{v} = 0$
说明：
$\hat{\mathbf{y}} = \hat{\mathbf{y}}_1, \quad \mathbf{z} = \mathbf{z}_1$
即正交分解是唯一的。

2. 正交分解示例

给定 $~\mathbb{R^3}~$ 中向量 $~\mathbf{y}~$ 以及由正交基生成是空间 $~W~$ ：

\mathbf{y} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix},\quad \mathbf{u}_1 = \begin{bmatrix} 2 \\ 5 \\ -1 \end{bmatrix}, \quad \mathbf{u}_2 = \begin{bmatrix} -2 \\ 1 \\ 1 \end{bmatrix}

下面利用正交分解定理对的向量 $~\mathbf{y}~$ 进行分解： $~\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z}~$ ，其中 $~\hat{\mathbf{y}} \in W,\,~\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}} \in W^\perp~$ 。

由正交投影公式：

\hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2

计算内积：

\begin{aligned} \mathbf{y} \cdot \mathbf{u}_1 &= (1)(2) + (2)(5) + (3)(-1) = 2 + 10 - 3 = 9 \\[1ex] \mathbf{u}_1 \cdot \mathbf{u}_1 &= (2)(2) + (5)(5) + (-1)(-1) = 4 + 25 + 1 = 30 \\[1ex] \mathbf{y} \cdot \mathbf{u}_2 &= (1)(-2) + (2)(1) + (3)(1) = -2 + 2 + 3 = 3 \\[1ex] \mathbf{u}_2 \cdot \mathbf{u}_2 &= (-2)(-2) + (1)(1) + (1)(1) = 4 + 1 + 1 = 6 \end{aligned}

计算投影：

\hat{\mathbf{y}} = \frac{9}{30} \begin{bmatrix} 2 \\ 5 \\ -1 \end{bmatrix} + \frac{3}{6} \begin{bmatrix} -2 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} -2/5 \\ 2 \\ 1/5 \end{bmatrix}

\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} - \begin{bmatrix} -2/5 \\ 2 \\ 1/5 \end{bmatrix} = \begin{bmatrix} 7/5 \\ 0 \\ 14/5 \end{bmatrix}

最终分解结果：

\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z} = \begin{bmatrix} -2/5 \\ 2 \\ 1/5 \end{bmatrix} + \begin{bmatrix} 7/5 \\ 0 \\ 14/5 \end{bmatrix}

3. 正交投影的几何解释

当 $~W~$ 是一维子空间时，正交投影公式 $~(2)~$ 仅包含一项，表示 $~\mathbf{y}~$ 在该基向量上的正交投影。对于更高维的子空间 $~W \gt 1~$ ，向量 $~\mathbf{y}~$ 在 $~W~$ 上的正交投影可以分解为投影到每个基向量的正交投影之和。在 $~\mathbb{R^3}~$ 空间中，假设 $~W~$ 是由两个正交向量 $~\mathbf{u}_1~$ 和 $~\mathbf{u}_2~$ 张成的子空间，向量 $~\mathbf{y}~$ 的正交投影可以分解为 $~\mathbf{y}~$ 在 $~\mathbf{u}_1~$ 和 $~\mathbf{u}_2~$ 上的投影之和。

\hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2 = \hat{\mathbf{y}}_1 + \hat{\mathbf{y}}_2

下面动画演示了这个分解过程：

4. 最佳逼近定理

正交投影的核心作用之一是最小化误差 ，常用于高维空间向量的低维近似。在数据分析、机器学习和信号处理等领域，我们常需用低维表示替代高维数据，以简化计算并减少信息损失。在这样的背景下，正交投影提供了一种最优的方法来确定低维近似向量，使得误差最小。它不仅保证了投影后的向量在目标子空间内，同时确保了该向量与原向量之间的距离最小。下面的定理表达了这种"最近似"的概念：

定理 9

最佳逼近定理

设 $~W~$ 是 $~\mathbb{R^n}~$ 的一个子空间， $~\mathbf{y}~$ 是 $~\mathbb{R^n}~$ 中的任意向量， $~\hat{\mathbf{y}}~$ 是 $~\mathbf{y}~$ 在 $~W~$ 上的正交投影。则 $~\hat{\mathbf{y}}~$ 是 $~W~$ 中最接近 $~\mathbf{y}~$ 的向量，即：

\| \mathbf{y} - \hat{\mathbf{y}} \| < \| \mathbf{y} - \mathbf{v} \| \tag{3}

对所有 $~W~$ 中不同于 $~\hat{\mathbf{y}}~$ 的向量 $~\mathbf{v}~$ 皆成立。

设定条件
- 设 $~W~$ 是 $~\mathbb{R^n}~$ 的一个子空间。
- 设 $~\mathbf{y}~$ 是任意向量， $~\hat{\mathbf{y}}~$ 是 $~\mathbf{y}~$ 在 $~W~$ 上的正交投影。
- 取任意不同于 $~\hat{\mathbf{y}}~$ 的 $~\mathbf{v} \in W~$ ，即 $~\mathbf{v} \neq \hat{\mathbf{y}}~$ 。
利用正交分解
- 根据正交分解定理，可以将 $~\mathbf{y} - \mathbf{v}~$ 分解为：
  $\mathbf{y} - \mathbf{v} = (\mathbf{y} - \hat{\mathbf{y}}) + (\hat{\mathbf{y}} - \mathbf{v})$
  其中： $\mathbf{y} - \hat{\mathbf{y}} \in W^\perp,\,~\hat{\mathbf{y}} - \mathbf{v} \in W$ 。
利用勾股定理
- 由于 $~\mathbf{y} - \hat{\mathbf{y}}~$ 于 $~\hat{\mathbf{y}} - \mathbf{v}~$ 正交，故可以应用勾股定理：
  $\|\mathbf{y} - \mathbf{v}\|^2 = \|\mathbf{y} - \hat{\mathbf{y}}\|^2 + \|\hat{\mathbf{y}} - \mathbf{v}\|^2$
推导不等式
- 由于 $~\mathbf{v} \neq \hat{\mathbf{y}}~$ ，所以 $~\|\hat{\mathbf{y}} - \mathbf{v}\|^2 > 0~$ 。
- 由此可得：
  $\|\mathbf{y} - \mathbf{v}\|^2 > \|\mathbf{y} - \hat{\mathbf{y}}\|^2$
  取平方根，得到：
  $\|\mathbf{y} - \mathbf{v}\| > \|\mathbf{y} - \hat{\mathbf{y}}\|$
  这证明了 $~\hat{\mathbf{y}}~$ 是 $~\mathbf{y}~$ 在 $~W~$ 中的最优逼近点。
结论
- 由于任意 $~\mathbf{v} \neq \hat{\mathbf{y}}~$ 都满足该不等式，说明正交投影 $~\hat{\mathbf{y}}~$ 是 $~W~$ 中离 $~\mathbf{y}~$ 最近的点。

我们可以把正交投影看作把高纬度向量降到低维度空间上的过程，例如我们现在有一个高维数据点 $~\mathbf{y}~$ 和一个二维子空间 $~W~$ ，这个子空间由两个基向量 $~\mathbf{u}_1~$ 和 $~\mathbf{u}_2~$ 张成。具体数据如下：

\mathbf{y} = \begin{bmatrix} -1 \\ -5 \\ 10 \end{bmatrix},\quad\mathbf{u}_1 = \begin{bmatrix} 5 \\ -2 \\ 1 \end{bmatrix}, \quad \mathbf{u}_2 = \begin{bmatrix} 1 \\ 2 \\ -1 \end{bmatrix}

我们希望通过将 $~\mathbf{y}~$ 投影到 $~W~$ 上来找到最接近的低维表示，和前面正交分解示例的计算过程是一样的。根据正交投影公式，可将 $~\mathbf{y}~$ 分解如下：

\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z}

其中 $\hat{\mathbf{y}} = \begin{bmatrix}-1 & -7 & 1\end{bmatrix}^T$ 为投影的二维空间 $~W~$ 上的近似向量； $~\mathbf{z} = \begin{bmatrix}0 & 2 & 9\end{bmatrix}^T~$ 是误差向量，误差值（模长）： $~\|\mathbf{z}\| \approx 9.22~$ 。

5. 正交投影的矩阵表示

定理 $~8~$ 通过逐项计算每个基向量上的投影来实现正交投影，而在实际应用中，矩阵运算 $~\mathbf{U}\mathbf{U}^T\mathbf{y}~$ 提供了一种更高效、更通用的方法来完成投影计算，特别适用于大规模数据处理和高维空间的投影问题。在定理 $~8~$ 的基础上，我们进一步推导并在标准正交基的条件下，可得下面的定理：

定理 10

矩阵形式的正交投影定理

如果 $~\{\mathbf{u}_1, \mathbf{u}_2,\cdots, \mathbf{u}_p\}~$ 是 $~\mathbb{R^n}~$ 中子空间 $~W~$ 的一组 标准正交基 ，那么对任意向量 $~\mathbf{y} \in \mathbb{R}^n~$ ，其在 $~W~$ 上的正交投影为：

\operatorname{proj}_W \mathbf{y} = (\mathbf{y} \cdot \mathbf{u}_1) \mathbf{u}_1 + (\mathbf{y} \cdot \mathbf{u}_2) \mathbf{u}_2 + \cdots + (\mathbf{y} \cdot \mathbf{u}_p) \mathbf{u}_p \tag{4}

如果定义矩阵

\mathbf{U} = \begin{bmatrix} \mathbf{u}_1 & \mathbf{u}_2 & \cdots & \mathbf{u}_p \end{bmatrix}

则正交投影可用矩阵表示为：

\operatorname{proj}_W \mathbf{y} = UU^T \mathbf{y}, \quad \forall \mathbf{y} \in \mathbb{R}^n \tag{5}

由正交投影公式：

\operatorname{proj}_W \mathbf{y} = \hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2 + \cdots + \frac{\mathbf{y} \cdot \mathbf{u}_p}{\mathbf{u}_p \cdot \mathbf{u}_p} \mathbf{u}_p

由于 $~\{\mathbf{u}_1,\cdots,\mathbf{u}_p\}~$ 是标准正交基，那么 $~\mathbf{u}_i\cdot \mathbf{u}_i = 1~$ ，投影公式可化简为：

\operatorname{proj}_W \mathbf{y} = (\mathbf{y} \cdot \mathbf{u}_1) \mathbf{u}_1 + (\mathbf{y} \cdot \mathbf{u}_2) \mathbf{u}_2 + \cdots + (\mathbf{y} \cdot \mathbf{u}_p) \mathbf{u}_p

所以 $~(4)~$ 成立。

$(4)~$ 可以等价表示为：

\operatorname{proj}_W \mathbf{y} = \sum_{i=1}^{p} (\mathbf{y} \cdot \mathbf{u}_i) \mathbf{u}_i

其中，投影系数 $~\mathbf{y}\cdot \mathbf{u}_i~$ 可以写成矩阵运算：

\mathbf{y} \cdot \mathbf{u}_i = \mathbf{u}_i^T \mathbf{y}

可得：

\operatorname{proj}_W \mathbf{y} = \sum_{i=1}^{p} ( \mathbf{u}_i^T \cdot \mathbf{y}) \mathbf{u}_i

$(4)~$ 可改写为：

\operatorname{proj}_W \mathbf{y} = \begin{bmatrix} \mathbf{u}_1 & \mathbf{u}_2 & \cdots & \mathbf{u}_p \end{bmatrix} \begin{bmatrix} \mathbf{u}_1^T \mathbf{y} \\ \mathbf{u}_2^T \mathbf{y} \\ \vdots \\ \mathbf{u}_p^T \mathbf{y} \end{bmatrix}

记 $~\mathbf{U} = \begin{bmatrix}\mathbf{u}_1 & \mathbf{u}_2 & \cdots & \mathbf{u}_p \end{bmatrix} ~$ ，则上述表达式为：

\operatorname{proj}_W \mathbf{y} = \mathbf{U} (\mathbf{U}^T\mathbf{y})

所以 $~(5)~$ 成立。

6. 正交投影的应用

在 2.1 节我们讨论过一种用矩阵运算来识别特定图像模型的方法。当时只是给出了模式识别矩阵 $~\mathbf{M}~$ ，下面我们利用正交补空间和矩阵投影来介绍如何构造出矩阵 $~\mathbf{M}~$ 。我们定义一个模式向量 $~\mathbf{w}~$ ，用来识别的目标图案。例如下面这个图形 " $~\perp~$ " ：

我们的目标是构造一个矩阵 $~\mathbf{M}~$ ，使得：如果输入向量 $~\mathbf{u}~$ 符合模式 $~\mathbf{w}~$ ，则 $~\mathbf{u}^T\mathbf{M} \mathbf{u} = 0~$ ；否则 $~\mathbf{u}^T\mathbf{M}\mathbf{u} \neq 0~$ 。构造 $~\mathbf{M}~$ 的思路是通过求解方程 $~\mathbf{x}^T\mathbf{w} = 0~$ 找到所有与模式向量 $~\mathbf{w}~$ 正交的向量组成的正交补空间 $~W^\perp~$ ，构造其基矩阵 $~\mathbf{B}~$ ，然后计算 $~\mathbf{M} = \mathbf{B}^T\mathbf{B}~$ 以得到模式检测矩阵。下面是具体过程：

定义模式向量 $~\mathbf{w}~$ 生成的空间：

W = \text{Span} \{\mathbf{w}\}

其中 $~\mathbf{w} = \begin{bmatrix}0 & 0 & 1 & 1 & 1 & 1 & 0 & 0 & 1\end{bmatrix}^T$ 。

$W~$ 的正交补空间：

W^\perp = \{ \mathbf{v} \mid \mathbf{v}^T \mathbf{w} = 0 \}

我们前面介绍过求正交补空间的步骤。所有与 $~\mathbf{w}~$ 向量正交的向量 $~\mathbf{x}~$ 满足：

\mathbf{x}^T\mathbf{w} = 0

将 $~\mathbf{w}~$ 代入得到齐次方程：

x_3 + x_4 + x_5 + x_6 + x_9 = 0

方程的解空间就是 $~W^\perp~$ 。

$W^\perp~$ 是一个 $~8~$ 维子空间（原空间维度 $-$ 方程个数）。因此我们需要找到 $~8~$ 个线性无关的基向量。我们可以用自由变量来表示 $~x_3~$ ：

x_3 = -(x_4 + x_5 + x_6 + x_9)

这样， $x_1,x_2,x_4,x_5,x_6,x_7,x_8,x_9$ 是自由变量。然后，我们让每个自由变量依次取 $~1~$ ，其余取 $~0~$ ，以构造基向量。

\begin{aligned} \mathbf{v}_1 &= \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_2 &= \begin{bmatrix} 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_3 &= \begin{bmatrix} 0 & 0 & -1 & 1 & 0 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_4 &= \begin{bmatrix} 0 & 0 & -1 & 0 & 1 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_5 &= \begin{bmatrix} 0 & 0 & -1 & 0 & 0 & 1 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_6 &= \begin{bmatrix} 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_7 &= \begin{bmatrix} 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_8 &= \begin{bmatrix} 0 & 0 & -1 & 0 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}^T \end{aligned}

将这些基向量组合成矩阵：

\mathbf{B} = \begin{bmatrix}\mathbf{v}_1^T \\ \mathbf{v}_2^T \\ \vdots \\ \mathbf{v}_8^T\end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & -1 & 0 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}

那么若 $~\mathbf{B}\mathbf{u} = \mathbf{0}~$ ，则 $~\mathbf{u}\in W~$ ，否则 $~\mathbf{u} \notin W~$ 。

用上一步得到的 $~\mathbf{B}~$ 矩阵来识别 $~\mathbf{u}~$ 不太方便运算， $\mathbf{B}\mathbf{u}$ 得到的是一个 $~8\times 1~$ 的向量，我们构造 $~\mathbf{M} = \mathbf{B}^T\mathbf{B}~$ 可以进一步把这个向量 $~\mathbf{B}\mathbf{u}~$ 转化为一个标量：

\mathbf{u}^T \mathbf{M} \mathbf{u} = (\mathbf{B} \mathbf{u})^T (\mathbf{B} \mathbf{u}) = \|\mathbf{B} \mathbf{u}\|^2

这样我们就可以直接通过一个数值判断：若 $~\mathbf{u}^T\mathbf{M}\mathbf{u} = 0~$ ，则 $~\mathbf{u} \in W~$ ，否则 $\mathbf{u} \notin W$ 。此例中 $~\mathbf{M}~$ 矩阵如下：

\mathbf{M} = \mathbf{B}^T \mathbf{B} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 4 & -1 & -1 & -1 & 0 & 0 \\ 0 & 0 & -1 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & -1 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}

6.2 正交集

6.4 格拉姆-施密特正交化

正交投影

1. 正交投影和正交分解

1第一步：证明 z ~\mathbf{z}~ z 在 W⊥ ~W^\perp~ W⊥ 内

2第二步：证明分解的唯一性

2. 正交分解示例

1计算 y ~\mathbf{y}~ y 在 W ~W~ W 上的正交投影 y^ ~\hat{\mathbf{y}}~ y^​

2计算 z=y−y^ ~\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}}~ z=y−y^​

3. 正交投影的几何解释

4. 最佳逼近定理

证定理 9 ~9~ 9

5. 正交投影的矩阵表示

1证明 (4) ~(4)~ (4) 成立

2证明 (5) ~(5)~ (5) 成立

6. 正交投影的应用

1定义模式空间 W ~W~ W

2求解 W⊥W^\perpW⊥

3构造 W⊥ ~W^\perp~ W⊥ 的基矩阵 B ~\mathbf{B}~ B

4构造 M ~\mathbf{M}~ M 矩阵