Logo

正交投影

1. 正交投影和正交分解

开通会员解锁全部动画

这一节，我们将正交投影推广到 Rn ~\mathbb{R^n}~中来讨论。在 Rn ~\mathbb{R^n}~中，给定向量 y ~\mathbf{y}~和子空间 W ~W~，可以找到唯一的向量 y^∈W ~\hat{\mathbf{y}}\in W~，使得 y−y^ ~\mathbf{y} - \hat{\mathbf{y}}~正交于 W ~W~，同时 y^ ~\hat{\mathbf{y}}~也是 W ~W~中最接近 y ~\mathbf{y}~的向量。因此，我们可以将 y ~\mathbf{y}~唯一地分解为
 y=z1+z2 (1)~\mathbf{y} = \mathbf{z}_1 + \mathbf{z}_2~\tag{1}
其中 z1 ~\mathbf{z}_1~在 W ~W~内， z2 ~\mathbf{z}_2~在 W⊥~W^\perp（正交补空间）内。例如在一个五维空间的正交基 U={u1,u2,u3,u4,u5,} ~\mathcal{U} = \{\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3,\mathbf{u}_4,\mathbf{u}_5,\}~下，对 R5 ~\mathbb{R^5}~中任意给定向量 y ~\mathbf{y}~用同样的方式进行分解：
y=c1u1+c2u2+c3u3+c4u4+c5u5\mathbf{y} = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + c_3 \mathbf{u}_3 + c_4 \mathbf{u}_4 + c_5 \mathbf{u}_5
我们可以对 y ~\mathbf{y}~按照 (1) ~(1)~式进行拆分：
y=(c1u1+c2u2)⏞z1+(c3u3+c4u4+c5u5)⏞z2\mathbf{y} = \overset{\textcolor{#2196f3}{\mathbf{z}_1}}{\textcolor{#2196f3}{\overbrace{\textcolor{#000000}{(c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2)}}}} + \overset{\textcolor{#2196f3}{\mathbf{z}_2}}{\textcolor{#2196f3}{\overbrace{\textcolor{#000000}{(c_3 \mathbf{u}_3 + c_4 \mathbf{u}_4 + c_5 \mathbf{u}_5)}}}}
如果 z1 ~\mathbf{z}_1~在子空间 W=Span{u1,u2} ~W = \text{Span} \{\mathbf{u}_1,\mathbf{u}_2\}~内，那么 z2 ~\mathbf{z}_2~一定在 W⊥ ~W^\perp~内。我们可以进一步推广到更一般的情况，即不需要整个空间的正交基，只需要 W ~W~自己的正交基即可计算正交投影，有如下定理：

  1. 令 y^ ~\hat{\mathbf{y}}~按照公式定义：
    y^=∑i=1py⋅uiui⋅uiui\hat{\mathbf{y}} = \sum_{i=1}^{p} \frac{\mathbf{y} \cdot \mathbf{u}_i}{\mathbf{u}_i \cdot \mathbf{u}_i} \mathbf{u}_i
    其中 {u1,…,up} ~\{\mathbf{u}_1, \dots, \mathbf{u}_p\}~是 W ~W~的正交基，因此 y^∈W ~\hat{\mathbf{y}} \in W~。
  2. 定义 z~\mathbf{z}：
     z=y−y^ ~\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}}~
    我们需要验证 z ~\mathbf{z}~是否在 W⊥ ~W^\perp~中，即 z ~\mathbf{z}~是否与 W ~W~中的每个基向量ui\mathbf{u}_i正交。
  3. 计算内积：
    z⋅u1=(y−y^)⋅u1=y⋅u1−(∑i=1py⋅uiui⋅uiui)⋅u1\mathbf{z} \cdot \mathbf{u}_1 = (\mathbf{y} - \hat{\mathbf{y}}) \cdot \mathbf{u}_1 = \mathbf{y} \cdot \mathbf{u}_1 - \left( \sum_{i=1}^{p} \frac{\mathbf{y} \cdot \mathbf{u}_i}{\mathbf{u}_i \cdot \mathbf{u}_i} \mathbf{u}_i \right) \cdot \mathbf{u}_1
    由于 u1⋅ui=0,(i≠1) ~\mathbf{u}_1\cdot \mathbf{u}_i = 0,(i\neq 1)~，因此对上式展开后，仅保留 i=1 ~i=1~的项：
    y⋅u1−y⋅u1u1⋅u1(u1⋅u1)=y⋅u1−y⋅u1=0\mathbf{y} \cdot \mathbf{u}_1 - \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} (\mathbf{u}_1 \cdot \mathbf{u}_1) = \mathbf{y} \cdot \mathbf{u}_1 - \mathbf{y} \cdot \mathbf{u}_1 = 0

  4. 对于所有 uj (j=1,…,p) ~\mathbf{u}_j~(j=1, \dots, p)~都可以用相同的方法证明z⋅uj=0\mathbf{z} \cdot \mathbf{u}_j = 0，因此 z∈W⊥~\mathbf{z} \in W^\perp。

  1. 假设 y ~\mathbf{y}~也可以写成另一种分解形式：
    y=y^1+z1\mathbf{y} = \hat{\mathbf{y}}_1 + \mathbf{z}_1
    其中 y^1∈W, z1∈W⊥~\hat{\mathbf{y}}_1 \in W, \,\mathbf{z}_1 \in W^\perp。
  2. 由两种分解形式相等：
    y^+z=y^1+z1\hat{\mathbf{y}} + \mathbf{z} = \hat{\mathbf{y}}_1 + \mathbf{z}_1
    整理得到：
    y^−y^1=z1−z\hat{\mathbf{y}} - \hat{\mathbf{y}}_1 = \mathbf{z}_1 - \mathbf{z}
  3. 由于 y^,y^1∈W ~\hat{\mathbf{y}}, \hat{\mathbf{y}}_1 \in W~，且 z,z1∈W⊥ ~\mathbf{z}, \mathbf{z}_1 \in W^\perp~，因此 v=y^−y^1 ~\mathbf{v} = \hat{\mathbf{y}} - \hat{\mathbf{y}}_1~既属于 W ~W~，又属于 W⊥ ~W^\perp~。但 W⊥ ~W^\perp~中的元素必须正交于 W ~W~内的所有向量。因此：
    v⋅v=0⇒v=0\mathbf{v} \cdot \mathbf{v} = 0 \Rightarrow \mathbf{v} = 0
    说明：
    y^=y^1,z=z1\hat{\mathbf{y}} = \hat{\mathbf{y}}_1, \quad \mathbf{z} = \mathbf{z}_1
    即正交分解是唯一的。

2. 正交分解示例

给定 R3 ~\mathbb{R^3}~中向量 y ~\mathbf{y}~以及由正交基生成是空间 W ~W~：
y=[123],u1=[25−1],u2=[−211]\mathbf{y} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix},\quad \mathbf{u}_1 = \begin{bmatrix} 2 \\ 5 \\ -1 \end{bmatrix}, \quad \mathbf{u}_2 = \begin{bmatrix} -2 \\ 1 \\ 1 \end{bmatrix}
下面利用正交分解定理对的向量 y ~\mathbf{y}~进行分解： y=y^+z ~\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z}~，其中 y^∈W,  z=y−y^∈W⊥ ~\hat{\mathbf{y}} \in W,\,~\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}} \in W^\perp~。

由正交投影公式：
y^=y⋅u1u1⋅u1u1+y⋅u2u2⋅u2u2\hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2
计算内积：
y⋅u1=(1)(2)+(2)(5)+(3)(−1)=2+10−3=9u1⋅u1=(2)(2)+(5)(5)+(−1)(−1)=4+25+1=30y⋅u2=(1)(−2)+(2)(1)+(3)(1)=−2+2+3=3u2⋅u2=(−2)(−2)+(1)(1)+(1)(1)=4+1+1=6\begin{aligned} \mathbf{y} \cdot \mathbf{u}_1 &= (1)(2) + (2)(5) + (3)(-1) = 2 + 10 - 3 = 9 \\[1ex] \mathbf{u}_1 \cdot \mathbf{u}_1 &= (2)(2) + (5)(5) + (-1)(-1) = 4 + 25 + 1 = 30 \\[1ex] \mathbf{y} \cdot \mathbf{u}_2 &= (1)(-2) + (2)(1) + (3)(1) = -2 + 2 + 3 = 3 \\[1ex] \mathbf{u}_2 \cdot \mathbf{u}_2 &= (-2)(-2) + (1)(1) + (1)(1) = 4 + 1 + 1 = 6 \end{aligned}
计算投影：
y^=930[25−1]+36[−211]=[−2/521/5]\hat{\mathbf{y}} = \frac{9}{30} \begin{bmatrix} 2 \\ 5 \\ -1 \end{bmatrix} + \frac{3}{6} \begin{bmatrix} -2 \\ 1 \\ 1 \end{bmatrix} =\begin{bmatrix} -2/5 \\ 2 \\ 1/5 \end{bmatrix}

z=y−y^=[123]−[−2/521/5]=[7/5014/5] \mathbf{z} = \mathbf{y} - \hat{\mathbf{y}} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} - \begin{bmatrix} -2/5 \\ 2 \\ 1/5 \end{bmatrix} = \begin{bmatrix} 7/5 \\ 0 \\ 14/5 \end{bmatrix}
最终分解结果：
y=y^+z=[−2/521/5]+[7/5014/5]\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z} = \begin{bmatrix} -2/5 \\ 2 \\ 1/5 \end{bmatrix} + \begin{bmatrix} 7/5 \\ 0 \\ 14/5 \end{bmatrix}

3. 正交投影的几何解释

当 W ~W~是一维子空间时，正交投影公式 (2) ~(2)~仅包含一项，表示 y ~\mathbf{y}~在该基向量上的正交投影。对于更高维的子空间 W>1 ~W \gt 1~，向量 y ~\mathbf{y}~在 W ~W~上的正交投影可以分解为投影到每个基向量的正交投影之和。在 R3 ~\mathbb{R^3}~空间中，假设 W ~W~是由两个正交向量 u1 ~\mathbf{u}_1~和 u2 ~\mathbf{u}_2~张成的子空间，向量 y ~\mathbf{y}~的正交投影可以分解为 y ~\mathbf{y}~在 u1 ~\mathbf{u}_1~和 u2 ~\mathbf{u}_2~上的投影之和。
y^=y⋅u1u1⋅u1u1+y⋅u2u2⋅u2u2=y^1+y^2\hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2 = \hat{\mathbf{y}}_1 + \hat{\mathbf{y}}_2
下面动画演示了这个分解过程：

开通会员解锁全部动画

4. 最佳逼近定理

开通会员解锁全部动画

正交投影的核心作用之一是最小化误差，常用于高维空间向量的低维近似。在数据分析、机器学习和信号处理等领域，我们常需用低维表示替代高维数据，以简化计算并减少信息损失。在这样的背景下，正交投影提供了一种最优的方法来确定低维近似向量，使得误差最小。它不仅保证了投影后的向量在目标子空间内，同时确保了该向量与原向量之间的距离最小。下面的定理表达了这种”最近似“的概念：

  1. 设定条件

    • 设 W ~W~是 Rn ~\mathbb{R^n}~的一个子空间。

    • 设 y ~\mathbf{y}~是任意向量， y^ ~\hat{\mathbf{y}}~是 y ~\mathbf{y}~在 W ~W~上的正交投影。

    • 取任意不同于 y^ ~\hat{\mathbf{y}}~的 v∈W ~\mathbf{v} \in W~，即 v≠y^ ~\mathbf{v} \neq \hat{\mathbf{y}}~。

  2. 利用正交分解
    • 根据正交分解定理，可以将 y−v ~\mathbf{y} - \mathbf{v}~分解为：
      y−v=(y−y^)+(y^−v)\mathbf{y} - \mathbf{v} = (\mathbf{y} - \hat{\mathbf{y}}) + (\hat{\mathbf{y}} - \mathbf{v})
      其中：y−y^∈W⊥,  y^−v∈W\mathbf{y} - \hat{\mathbf{y}} \in W^\perp,\,~\hat{\mathbf{y}} - \mathbf{v} \in W。
  3. 利用勾股定理
    • 由于 y−y^ ~\mathbf{y} - \hat{\mathbf{y}}~于 y^−v ~\hat{\mathbf{y}} - \mathbf{v}~正交，故可以应用勾股定理：
      ∥y−v∥2=∥y−y^∥2+∥y^−v∥2\|\mathbf{y} - \mathbf{v}\|^2 = \|\mathbf{y} - \hat{\mathbf{y}}\|^2 + \|\hat{\mathbf{y}} - \mathbf{v}\|^2
  4. 推导不等式
    • 由于 v≠y^ ~\mathbf{v} \neq \hat{\mathbf{y}}~，所以 ∥y^−v∥2>0 ~\|\hat{\mathbf{y}} - \mathbf{v}\|^2 > 0~。
    • 由此可得：
      ∥y−v∥2>∥y−y^∥2\|\mathbf{y} - \mathbf{v}\|^2 > \|\mathbf{y} - \hat{\mathbf{y}}\|^2
      取平方根，得到：
      ∥y−v∥>∥y−y^∥\|\mathbf{y} - \mathbf{v}\| > \|\mathbf{y} - \hat{\mathbf{y}}\|
      这证明了 y^ ~\hat{\mathbf{y}}~是 y ~\mathbf{y}~在 W ~W~中的最优逼近点。
  5. 结论
    • 由于任意 v≠y^ ~\mathbf{v} \neq \hat{\mathbf{y}}~都满足该不等式，说明正交投影 y^ ~\hat{\mathbf{y}}~是 W ~W~中离 y ~\mathbf{y}~最近的点。
我们可以把正交投影看作把高纬度向量降到低维度空间上的过程，例如我们现在有一个高维数据点 y ~\mathbf{y}~和一个二维子空间 W ~W~，这个子空间由两个基向量 u1 ~\mathbf{u}_1~和 u2 ~\mathbf{u}_2~张成。具体数据如下：
y=[−1−510],u1=[5−21],u2=[12−1]\mathbf{y} = \begin{bmatrix} -1 \\ -5 \\ 10 \end{bmatrix},\quad\mathbf{u}_1 = \begin{bmatrix} 5 \\ -2 \\ 1 \end{bmatrix}, \quad \mathbf{u}_2 = \begin{bmatrix} 1 \\ 2 \\ -1 \end{bmatrix}
我们希望通过将 y ~\mathbf{y}~投影到 W ~W~上来找到最接近的低维表示，和前面正交分解示例的计算过程是一样的。根据正交投影公式，可将 y ~\mathbf{y}~分解如下：
y=y^+z\mathbf{y} = \hat{\mathbf{y}} + \mathbf{z}
其中y^=[−1−71]T\hat{\mathbf{y}} = \begin{bmatrix}-1 & -7 & 1\end{bmatrix}^T为投影的二维空间 W ~W~上的近似向量； z=[029]T ~\mathbf{z} = \begin{bmatrix}0 & 2 & 9\end{bmatrix}^T~是误差向量，误差值（模长）： ∥z∥≈9.22 ~\|\mathbf{z}\| \approx 9.22~。

5. 正交投影的矩阵表示

定理 8 ~8~通过逐项计算每个基向量上的投影来实现正交投影，而在实际应用中，矩阵运算 UUTy ~\mathbf{U}\mathbf{U}^T\mathbf{y}~提供了一种更高效、更通用的方法来完成投影计算，特别适用于大规模数据处理和高维空间的投影问题。在定理 8 ~8~的基础上，我们进一步推导并在标准正交基的条件下，可得下面的定理：

由正交投影公式：
proj⁡Wy=y^=y⋅u1u1⋅u1u1+y⋅u2u2⋅u2u2+⋯+y⋅upup⋅upup\operatorname{proj}_W \mathbf{y} = \hat{\mathbf{y}} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2 + \cdots + \frac{\mathbf{y} \cdot \mathbf{u}_p}{\mathbf{u}_p \cdot \mathbf{u}_p} \mathbf{u}_p
由于 {u1,⋯ ,up} ~\{\mathbf{u}_1,\cdots,\mathbf{u}_p\}~是标准正交基，那么 ui⋅ui=1 ~\mathbf{u}_i\cdot \mathbf{u}_i = 1~，投影公式可化简为：
proj⁡Wy=(y⋅u1)u1+(y⋅u2)u2+⋯+(y⋅up)up\operatorname{proj}_W \mathbf{y} = (\mathbf{y} \cdot \mathbf{u}_1) \mathbf{u}_1 + (\mathbf{y} \cdot \mathbf{u}_2) \mathbf{u}_2 + \cdots + (\mathbf{y} \cdot \mathbf{u}_p) \mathbf{u}_p
所以 (4) ~(4)~成立。

(4) (4)~可以等价表示为：
proj⁡Wy=∑i=1p(y⋅ui)ui\operatorname{proj}_W \mathbf{y} = \sum_{i=1}^{p} (\mathbf{y} \cdot \mathbf{u}_i) \mathbf{u}_i
其中，投影系数 y⋅ui ~\mathbf{y}\cdot \mathbf{u}_i~可以写成矩阵运算：
y⋅ui=uiTy\mathbf{y} \cdot \mathbf{u}_i = \mathbf{u}_i^T \mathbf{y}
可得：
proj⁡Wy=∑i=1p(uiT⋅y)ui\operatorname{proj}_W \mathbf{y} = \sum_{i=1}^{p} ( \mathbf{u}_i^T \cdot \mathbf{y}) \mathbf{u}_i
(4) (4)~可改写为：
proj⁡Wy=[u1u2⋯up][u1Tyu2Ty⋮upTy]\operatorname{proj}_W \mathbf{y} = \begin{bmatrix} \mathbf{u}_1 & \mathbf{u}_2 & \cdots & \mathbf{u}_p \end{bmatrix} \begin{bmatrix} \mathbf{u}_1^T \mathbf{y} \\ \mathbf{u}_2^T \mathbf{y} \\ \vdots \\ \mathbf{u}_p^T \mathbf{y} \end{bmatrix}
记 U=[u1u2⋯up] ~\mathbf{U} = \begin{bmatrix}\mathbf{u}_1 & \mathbf{u}_2 & \cdots & \mathbf{u}_p \end{bmatrix} ~，则上述表达式为：
proj⁡Wy=U(UTy)\operatorname{proj}_W \mathbf{y} = \mathbf{U} (\mathbf{U}^T\mathbf{y})
所以 (5) ~(5)~成立。

6. 正交投影的应用

在  2.1 节我们讨论过一种用矩阵运算来识别特定图像模型的方法。当时只是给出了模式识别矩阵 M ~\mathbf{M}~，下面我们利用正交补空间和矩阵投影来介绍如何构造出矩阵 M ~\mathbf{M}~。我们定义一个模式向量 w ~\mathbf{w}~，用来识别的目标图案。例如下面这个图形 “ ⊥ ~\perp~“：

开通会员解锁全部动画

我们的目标是构造一个矩阵 M ~\mathbf{M}~，使得：如果输入向量 u ~\mathbf{u}~符合模式 w ~\mathbf{w}~，则 uTMu=0 ~\mathbf{u}^T\mathbf{M} \mathbf{u} = 0~；否则 uTMu≠0 ~\mathbf{u}^T\mathbf{M}\mathbf{u} \neq 0~。构造 M ~\mathbf{M}~的思路是通过求解方程 xTw=0 ~\mathbf{x}^T\mathbf{w} = 0~找到所有与模式向量 w ~\mathbf{w}~正交的向量组成的正交补空间 W⊥ ~W^\perp~，构造其基矩阵 B ~\mathbf{B}~，然后计算 M=BTB ~\mathbf{M} = \mathbf{B}^T\mathbf{B}~以得到模式检测矩阵。下面是具体过程：

定义模式向量 w ~\mathbf{w}~生成的空间：
W=Span{w}W = \text{Span} \{\mathbf{w}\}
其中 w=[001111001]T~\mathbf{w} = \begin{bmatrix}0 & 0 & 1 & 1 & 1 & 1 & 0 & 0 & 1\end{bmatrix}^T。

W W~的正交补空间：
W⊥={v∣vTw=0}W^\perp = \{ \mathbf{v} \mid \mathbf{v}^T \mathbf{w} = 0 \}
我们前面介绍过求正交补空间的步骤。所有与 w ~\mathbf{w}~向量正交的向量 x ~\mathbf{x}~满足：
xTw=0\mathbf{x}^T\mathbf{w} = 0
将 w ~\mathbf{w}~代入得到齐次方程：
x3+x4+x5+x6+x9=0x_3 + x_4 + x_5 + x_6 + x_9 =0
方程的解空间就是 W⊥ ~W^\perp~。

W⊥ W^\perp~是一个 8 ~8~维子空间（原空间维度−-方程个数）。因此我们需要找到 8 ~8~个线性无关的基向量。我们可以用自由变量来表示 x3 ~x_3~：
x3=−(x4+x5+x6+x9)x_3 = -(x_4 + x_5 + x_6 + x_9)
这样，x1,x2,x4,x5,x6,x7,x8,x9x_1,x_2,x_4,x_5,x_6,x_7,x_8,x_9是自由变量。然后，我们让每个自由变量依次取 1 ~1~，其余取 0 ~0~，以构造基向量。
v1=[100000000]Tv2=[010000000]Tv3=[00−1100000]Tv4=[00−1010000]Tv5=[00−1001000]Tv6=[000000100]Tv7=[000000010]Tv8=[00−1000001]T\begin{aligned} \mathbf{v}_1 &= \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_2 &= \begin{bmatrix} 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_3 &= \begin{bmatrix} 0 & 0 & -1 & 1 & 0 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_4 &= \begin{bmatrix} 0 & 0 & -1 & 0 & 1 & 0 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_5 &= \begin{bmatrix} 0 & 0 & -1 & 0 & 0 & 1 & 0 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_6 &= \begin{bmatrix} 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_7 &= \begin{bmatrix} 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \end{bmatrix}^T \\[1ex] \mathbf{v}_8 &= \begin{bmatrix} 0 & 0 & -1 & 0 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}^T \end{aligned}
将这些基向量组合成矩阵：
B=[v1Tv2T⋮v8T]=[10000000001000000000−110000000−101000000−100100000000010000000001000−1000001]\mathbf{B} = \begin{bmatrix}\mathbf{v}_1^T \\ \mathbf{v}_2^T \\ \vdots \\ \mathbf{v}_8^T\end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & -1 & 0 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}
那么若 Bu=0 ~\mathbf{B}\mathbf{u} = \mathbf{0}~，则 u∈W ~\mathbf{u}\in W~，否则 u∉W ~\mathbf{u} \notin W~。

用上一步得到的 B ~\mathbf{B}~矩阵来识别 u ~\mathbf{u}~不太方便运算，Bu\mathbf{B}\mathbf{u}得到的是一个 8×1 ~8\times 1~的向量，我们构造 M=BTB ~\mathbf{M} = \mathbf{B}^T\mathbf{B}~可以进一步把这个向量 Bu ~\mathbf{B}\mathbf{u}~转化为一个标量：
uTMu=(Bu)T(Bu)=∥Bu∥2\mathbf{u}^T \mathbf{M} \mathbf{u} = (\mathbf{B} \mathbf{u})^T (\mathbf{B} \mathbf{u}) = \|\mathbf{B} \mathbf{u}\|^2
这样我们就可以直接通过一个数值判断：若 uTMu=0 ~\mathbf{u}^T\mathbf{M}\mathbf{u} = 0~，则 u∈W ~\mathbf{u} \in W~，否则u∉W\mathbf{u} \notin W。此例中 M ~\mathbf{M}~矩阵如下：
M=BTB=[1000000001000000004−1−1−10000−11000000−10100000−1001000000001000−100001]\mathbf{M} = \mathbf{B}^T \mathbf{B} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 4 & -1 & -1 & -1 & 0 & 0 \\ 0 & 0 & -1 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & -1 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & -1 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}

6.2 正交集

6.4 格拉姆-施密特正交化

bei an浙ICP备2024102481号