格拉姆-施密特正交化

基础步骤 $~(k=1)~$ ：

• 当 $~k=1~$ 时，设置 $~\mathbf{v}_1=\mathbf{x}_1~$ ，显然 $~W_1 = \text{Span}\{\mathbf{v}_1\}=\text{Span}\{\mathbf{x}_1\}~$ ，因此 $~\mathbf{v}_1~$ 作为 $~W_1~$ 的唯一向量，自然属于 $~W_1~$ 的正交基。

归纳假设：

• 假设对于某个 $~k\lt p~$ ，我们已经构造了正交基 $~\{\mathbf{v}_1,\mathbf{v}_2,\cdots,\mathbf{v}_k\}~$ ，并且它们是子空间 $~W_k=\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_k\}~$ 的正交基。

归纳步骤：

• 需要证明对于 $~k+1~$ ，构造的向量 $\mathbf{v}_{k+1} = \mathbf{x}_{k+1} - \text{proj}_{W_k} \mathbf{x}_{k+1}$ 也是 $~W_{k+1}=\text{Span}\{\mathbf{x}_1,\cdots,\mathbf{x}_{k+1}\}~$ 的正交基。

• 构造 $~\mathbf{v}_{k+1}~$ ：

  $$\mathbf{v_{k+1}} = \mathbf{x_{k+1}} - \text{proj}_{W_k} \mathbf{x_{k+1}}$$

  其中， $~\text{proj}_{W_k} \mathbf{x}_{k+1}~$ 代表的是 $~\mathbf{x}_{k+1}~$ 在 $~W_k~$ 上的投影。根据正交投影的定义，它可以表示为：

  $$\text{proj}_{W_k} \mathbf{x}_{k+1} = \sum_{i=1}^{k} \frac{\mathbf{x}_{k+1} \cdot \mathbf{v}_i}{\mathbf{v}_i \cdot \mathbf{v}_i} \mathbf{v}_i$$

  这里的 $~\mathbf{v}_i~$ 是 $~W_k~$ 中的正交基向量， $~\mathbf{x}_{k+1}~$ 在 $~W_k~$ 上的投影等于在各分量 $~\mathbf{v}_i~$ 上的投影之和。

• 我们考虑 $~\mathbf{v}_{k+1}~$ 与 $~W_k~$ 中任意一个向量 $~\mathbf{v}_i~$ 的点积：

  $$\mathbf{v}_{k+1} \cdot \mathbf{v}_i = (\mathbf{x}_{k+1} - \text{proj}_{W_k} \mathbf{x}_{k+1}) \cdot \mathbf{v}_i$$

  将 $~\text{proj}_{w+1} \mathbf{x}_{k+1}~$ 展开：

  $$\mathbf{v}_{k+1} \cdot \mathbf{v}_i = \mathbf{x}_{k+1} \cdot \mathbf{v}_i - \left( \sum_{j=1}^{k} \frac{\mathbf{x}_{k+1} \cdot \mathbf{v}_j}{\mathbf{v}_j \cdot \mathbf{v}_j} \mathbf{v}_j \right) \cdot \mathbf{v}_i$$

  由于 $~\{\mathbf{v}_1,\cdots,\mathbf{v}_k\}~$ 是正交基，因此 $~\mathbf{v}_j\cdot \mathbf{v}_i = 0\,~(i\neq j)~$ 而 $~\mathbf{v}_i\cdot \mathbf{v}_i\neq 0~$ ，所以只有当 $~j=i~$ 时，第二项非零：

  $$\mathbf{v}_{k+1} \cdot \mathbf{v}_i = \mathbf{x}_{k+1} \cdot \mathbf{v}_i - \frac{\mathbf{x}_{k+1} \cdot \mathbf{v}_i}{\mathbf{v}_i \cdot \mathbf{v}_i} \mathbf{v}_i \cdot \mathbf{v}_i$$

  这两个项相互抵消，得到：

  $$\mathbf{v}_{k+1}\cdot \mathbf{v}_i = 0$$

  因此， $~\mathbf{v}_{k+1}~$ 与 $~W_k~$ 中的每一个向量 $~\mathbf{v}_i~$ 都正交，且 $\mathbf{v}_{k+1} \neq 0$ ，所以 $~\{\mathbf{v}_1,\mathbf{v}_2,\cdots,\mathbf{v}_{k+1}\}~$ 是 $~W_{k+1}~$ 的正交基。

归纳终止：

• 当 $~k+1 = p~$ 时，归纳过程终止，证明完成。

构造标准正交基

• 令 $~\mathbf{A}~$ 的列向量 $~\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\}~$ 构成 $~\text{Col}(\mathbf{A})~$ 的基。根据定理 $~11~$ ，可以通过施密特正交化构造一个标准正交基 $~\{\mathbf{u}_1,\mathbf{u}_2,\cdots,\mathbf{u}_n\}~$ 来表示 $~\text{Col}(\mathbf{A})~$ 。

构造矩阵 $~\mathbf{Q}~$

• 定义矩阵 $~\mathbf{Q}~$ 为：

  $$\mathbf{Q} = \begin{bmatrix}\mathbf{u}_1 & \mathbf{u}_2 & \cdots & \mathbf{u}_n \end{bmatrix}$$

  其中 $~\mathbf{u}_1,\mathbf{u}_2,\cdots,\mathbf{u}_n~$ 是通过拉姆-施密特正交化得到的标准正交基。

表示 $~\mathbf{x}_k~$ 为正交基的线性组合：

• 对于每个 $~k=1,\cdots,n~$ ， $\mathbf{x}_k~$ 可以表示为 $~\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_k\}~$ 的线性组合。由于 $~\mathbf{x}_k~$ 在 $~\text{Span}\{\mathbf{x}_1,\cdots,\mathbf{x}_k\}~$ 中，存在常数 $~r_{1k},r_{2k},\cdots,r_{kk}~$ ，使得：

  $${x_k = r_{1k} \mathbf{u}_1 + \cdots + r_{kk} \mathbf{u}_k + 0 \mathbf{u}_{k+1} + \cdots + 0 \mathbf{u}_n}$$

  可以将这些系数提取成一个列向量，对于 $~\mathbf{x}_k~$ 可以表示为：

  $$\mathbf{x}_k = \mathbf{Q}\mathbf{r}_k = \begin{bmatrix} \mathbf{u}_1 \ \mathbf{u}_2 \ \dots \ \mathbf{u}_n \end{bmatrix} \begin{bmatrix} r_{1k} \\ r_{2k} \\ \vdots \\ r_{kk} \\ 0 \\ \vdots \\ 0 \end{bmatrix}$$

构造 $~\mathbf{Q}\mathbf{R}~$

• 对于所有 $~k=1,\cdots,n~$ ，我们可以定义：

  $$\mathbf{R} = \begin{bmatrix}\mathbf{r}_1 & \mathbf{r}_2 & \cdots & \mathbf{r}_n \end{bmatrix}$$

  那么矩阵 $~\mathbf{A}~$ 可以表示为：

  $$\mathbf{A} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots \mathbf{x}_n \end{bmatrix} = \begin{bmatrix} \mathbf{Q}\mathbf{r}_1 & \mathbf{Q}\mathbf{r}_2 & \cdots & \mathbf{Q}\mathbf{r}_n \end{bmatrix} = \mathbf{Q}\mathbf{R}$$

• 把 $~\mathbf{Q}\mathbf{R}~$ 展开更为清晰：

  $$\mathbf{A} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots \mathbf{x}_n \end{bmatrix} = \begin{bmatrix} \mathbf{u}_1 & \mathbf{u}_2 & \cdots \mathbf{u}_n \end{bmatrix} \begin{bmatrix} r_{11} & r_{12} & r_{13} & \dots & r_{1n} \\ 0 & r_{22} & r_{23} & \dots & r_{2n} \\ 0 & 0 & r_{33} & \dots & r_{3n} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \dots & r_{nn} \end{bmatrix}$$

提取矩阵 $~\mathbf{A}~$ 的列向量

• 将 $~\mathbf{A}~$ 的列向量表示为 $~\mathbf{x}_1,\mathbf{x}_2,\mathbf{x}_3~$ ：

  $$\mathbf{x}_1 = \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \quad \mathbf{x}_2 = \begin{bmatrix} 0 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \quad \mathbf{x}_3 = \begin{bmatrix} 0 \\ 0 \\ 1 \\ 1 \end{bmatrix}$$

构建正交矩阵 $~\mathbf{Q}~$

• 应用施密特正交化生成正交基：

  $$\mathbf{v}_1 = \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix},\quad \mathbf{v}_2 = \begin{bmatrix} -3/4 \\ 1/4 \\ 1/4 \\ 1/4 \end{bmatrix},\quad \mathbf{v}_3 = \begin{bmatrix} 0 \\ -2/3 \\ 1/3 \\ 1/3 \end{bmatrix}$$

  标准化 $~\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3~$ 得到 $\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3$ ：

  $$\mathbf{u_1} = \frac{1}{2} \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \quad \mathbf{u_2} = \frac{1}{\sqrt{12}} \begin{bmatrix} -3 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \quad \mathbf{u_3} = \frac{1}{\sqrt{6}} \begin{bmatrix} 0 \\ -2 \\ 1 \\ 1 \end{bmatrix}$$

  将 $~\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3~$ 作为 $~\mathbf{Q}~$ 的列向量：

  $$\mathbf{Q} = \begin{bmatrix} 1/2 & -3/\sqrt{12} & 0 \\ 1/2 & 1/\sqrt{12} & -2/\sqrt{6} \\ 1/2 & 1/\sqrt{12} & 1/\sqrt{6} \\ 1/2 & 1/\sqrt{12} & 1/\sqrt{6} \end{bmatrix}$$

计算上三角矩阵 $~\mathbf{R}~$

• 使用 $~\mathbf{Q}^T\mathbf{A} = \mathbf{R}~$ ：

  $$\mathbf{R} = \begin{bmatrix} 2 & 3/2 & 1 \\ 0 & 3/2\sqrt{3} & 2/\sqrt{12} \\ 0 & 0 & 2/\sqrt{6} \end{bmatrix}$$