正交集在线性代数中的作用在于简化计算。正交集天然线性无关,可作为基,使坐标计算更简单。
1. 正交集的定义与性质
如果一个向量集合 { u 1 , u 2 , … , u p } \{ u_1, u_2, \dots, u_p \} { u 1 , u 2 , … , u p } 在欧几里得空间 R n ~\mathbb{R^n}~ R n 中满足:任意两个不同的向量 u i , u j ~\mathbf{u}_i,\mathbf{u}_j~ u i , u j 都是正交的,即:
u i ⋅ u j = 0 , ∀ i ≠ j u_i \cdot u_j = 0, \quad \forall i \neq j u i ⋅ u j = 0 , ∀ i = j
那么,这个向量集合称为正交集 ( Orthogonal Set ) ~(\textbf{Orthogonal Set})~ ( Orthogonal Set ) 。请观察下面三维场景中的向量:
这个三维场景中的三个向量如下:
u 1 = [ 3 1 1 ] , u 2 = [ − 1 2 1 ] , u 3 = [ − 1 / 2 − 2 7 / 2 ] (1) \mathbf{u}_1 = \begin{bmatrix} 3 \\ 1 \\ 1 \end{bmatrix}, \quad \mathbf{u}_2 = \begin{bmatrix} -1 \\ 2 \\ 1 \end{bmatrix}, \quad \mathbf{u}_3 = \begin{bmatrix} -1/2 \\ -2 \\ 7/2 \end{bmatrix} \tag{1} u 1 = 3 1 1 , u 2 = − 1 2 1 , u 3 = − 1/2 − 2 7/2 ( 1 )
它们中任意两个向量的点积都为 0 ~0~ 0 (相互垂直),因此 { u 1 , u 2 , u 3 } \{\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3\} { u 1 , u 2 , u 3 } 是一个正交集 。正交集有一个良好的性质,那就是它其中的向量之间线性无关,这一特性使得正交集在构造基 ( basis ) ~(\textbf{basis})~ ( basis ) 时极具优势。下面的定理正式描述了这一性质:
定理 4
正交集的线性无关性
如果 S = { u 1 , ⋯ , u p } ~S = \{\mathbf{u}_1,\cdots,\mathbf{u}_p\}~ S = { u 1 , ⋯ , u p } 是 R n ~\mathbb{R^n}~ R n 中一个由非零向量组成的正交集,那么 S ~S~ S 是线性无关的,因此它可以作为其张成子空间的一组基。
假设 :存在一组标量 c 1 , c 2 , … , c p c_1, c_2, \dots, c_p c 1 , c 2 , … , c p ,使得:
0 = c 1 u 1 + c 2 u 2 + ⋯ + c p u p 0 = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + \dots + c_p \mathbf{u}_p 0 = c 1 u 1 + c 2 u 2 + ⋯ + c p u p
两边同时与 u 1 u_1 u 1 取内积
0 ⋅ u 1 = ( c 1 u 1 + c 2 u 2 + ⋯ + c p u p ) ⋅ u 1 0 \cdot \mathbf{u}_1 = (c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + \dots + c_p \mathbf{u}_p) \cdot \mathbf{u}_1 0 ⋅ u 1 = ( c 1 u 1 + c 2 u 2 + ⋯ + c p u p ) ⋅ u 1
利用内积的线性性展开 对上式展开得:
( c 1 u 1 ) ⋅ u 1 + ( c 2 u 2 ) ⋅ u 1 + ⋯ + ( c p u p ) ⋅ u 1 = 0 (c_1 \mathbf{u}_1) \cdot \mathbf{u}_1 + (c_2 \mathbf{u}_2) \cdot \mathbf{u}_1 + \dots + (c_p \mathbf{u}_p) \cdot \mathbf{u}_1 = 0 ( c 1 u 1 ) ⋅ u 1 + ( c 2 u 2 ) ⋅ u 1 + ⋯ + ( c p u p ) ⋅ u 1 = 0
利用正交集的性质,由于 S ~S~ S 是正交集, u i ⋅ u 1 = 0 \mathbf{u}_i \cdot \mathbf{u}_1 = 0 u i ⋅ u 1 = 0 当 i ≠ 1 i \neq 1 i = 1 ,因此上式中所有非零项都消失,只剩下:
c 1 ( u 1 ⋅ u 1 ) = 0 c_1 (\mathbf{u}_1 \cdot \mathbf{u}_1) = 0 c 1 ( u 1 ⋅ u 1 ) = 0
由于 u 1 ≠ 0 \mathbf{u}_1 \neq 0 u 1 = 0 ,则 u 1 ⋅ u 1 > 0 \mathbf{u}_1 \cdot \mathbf{u}_1 > 0 u 1 ⋅ u 1 > 0 ,因此
c 1 = 0 c_1 = 0 c 1 = 0
对 u 2 , u 3 , … , u p \mathbf{u}_2, \mathbf{u}_3, \dots, \mathbf{u}_p u 2 , u 3 , … , u p 依次重复相同操作 类似地,对 u 2 , u 3 , … , u p \mathbf{u}_2, \mathbf{u}_3, \dots, \mathbf{u}_p u 2 , u 3 , … , u p 进行相同的计算,我们可以得到:
c 2 = c 3 = ⋯ = c p = 0 c_2 = c_3 = \dots = c_p = 0 c 2 = c 3 = ⋯ = c p = 0
结论 :所有系数 c i = 0 ~c_i=0~ c i = 0 说明集合 S ~S~ S 线性无关。
2. 正交基
在证明了正交集的线性无关性后,我们可以利用这一性质来构造子空间的基。如果一个向量集合既是某个子空间的基,又是正交集,那这组向量集合可被称作正交基 ( Orthogonal Basis ) ~(\textbf{Orthogonal Basis})~ ( Orthogonal Basis ) ,有如下定义:
定义
正交基
正交基 指的是 R n ~\mathbb{R^n}~ R n 的某个子空间 W ~W~ W 的一组基,并且这组基同时是一个正交集。
正交基不仅能够简化线性组合的计算,还可以直接计算向量在该基下的坐标,而不需要解方程组。下面的定理给出了正交基下的坐标计算公式:
定理 5
正交基下的坐标计算
设 { u 1 , … , u p } \{\mathbf{u}_1, \dots, \mathbf{u}_p\} { u 1 , … , u p } 是 R n \mathbb{R}^n R n 中某个子空间 W W W 的正交基,对于 W W W 中的任意向量 y \mathbf{y} y ,它可以表示为:
y = c 1 u 1 + c 2 u 2 + ⋯ + c p u p \mathbf{y} = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + \dots + c_p \mathbf{u}_p y = c 1 u 1 + c 2 u 2 + ⋯ + c p u p
其中,每个权重 c j c_j c j 的计算公式为:
c j = y ⋅ u j u j ⋅ u j , j = 1 , … , p c_j = \frac{\mathbf{y} \cdot \mathbf{u}_j}{\mathbf{u}_j \cdot \mathbf{u}_j}, \quad j = 1, \dots, p c j = u j ⋅ u j y ⋅ u j , j = 1 , … , p
假设 :存在一组标量 c 1 , c 2 , … , c p c_1, c_2, \dots, c_p c 1 , c 2 , … , c p ,使得:
0 = c 1 u 1 + c 2 u 2 + ⋯ + c p u p 0 = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + \dots + c_p \mathbf{u}_p 0 = c 1 u 1 + c 2 u 2 + ⋯ + c p u p
由 y \mathbf{y} y 的线性组合:
y = c 1 u 1 + c 2 u 2 + ⋯ + c p u p \mathbf{y} = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + \dots + c_p \mathbf{u}_p y = c 1 u 1 + c 2 u 2 + ⋯ + c p u p
两边与 u 1 \mathbf{u}_1 u 1 取点积:
y ⋅ u 1 = ( c 1 u 1 + c 2 u 2 + ⋯ + c p u p ) ⋅ u 1 \mathbf{y} \cdot \mathbf{u}_1 = (c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + \dots + c_p \mathbf{u}_p) \cdot \mathbf{u}_1 y ⋅ u 1 = ( c 1 u 1 + c 2 u 2 + ⋯ + c p u p ) ⋅ u 1
利用正交性质,根据内积的线性性:
y ⋅ u 1 = c 1 ( u 1 ⋅ u 1 ) + c 2 ( u 2 ⋅ u 1 ) + ⋯ + c p ( u p ⋅ u 1 ) \mathbf{y} \cdot \mathbf{u}_1 = c_1 (\mathbf{u}_1 \cdot \mathbf{u}_1) + c_2 (\mathbf{u}_2 \cdot \mathbf{u}_1) + \dots + c_p (\mathbf{u}_p \cdot \mathbf{u}_1) y ⋅ u 1 = c 1 ( u 1 ⋅ u 1 ) + c 2 ( u 2 ⋅ u 1 ) + ⋯ + c p ( u p ⋅ u 1 )
由于 { u 1 , … , u p } \{\mathbf{u}_1, \dots, \mathbf{u}_p\} { u 1 , … , u p } 是正交集,当 i ≠ j i \neq j i = j 时 u i ⋅ u j = 0 \mathbf{u}_i \cdot \mathbf{u}_j = 0 u i ⋅ u j = 0 ,所以上式简化为:
y ⋅ u 1 = c 1 ( u 1 ⋅ u 1 ) \mathbf{y} \cdot \mathbf{u}_1 = c_1 (\mathbf{u}_1 \cdot \mathbf{u}_1) y ⋅ u 1 = c 1 ( u 1 ⋅ u 1 )
求解 c 1 c_1 c 1 :
c 1 = y ⋅ u 1 u 1 ⋅ u 1 c_1 = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} c 1 = u 1 ⋅ u 1 y ⋅ u 1
推广到所有 j j j 对 j = 2 , … , p j = 2, \dots, p j = 2 , … , p 进行相同运算,可得:
c j = y ⋅ u j u j ⋅ u j , j = 1 , … , p c_j = \frac{\mathbf{y} \cdot \mathbf{u}_j}{\mathbf{u}_j \cdot \mathbf{u}_j}, \quad j = 1, \dots, p c j = u j ⋅ u j y ⋅ u j , j = 1 , … , p
现在,我们可以十分方便地利用正交基表示子空间 W ~W~ W 内的任意向量。 ( 1 ) ~(1)~ ( 1 ) 式中的向量集合 { u 1 , u 2 , u 3 } ~\{\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3\}~ { u 1 , u 2 , u 3 } 组成了 R 3 ~\mathbb{R^3}~ R 3 的一组正交基。我们可以利用定理 5 ~5~ 5 来计算向量 y = [ 6 1 − 8 ] T ~\mathbf{y} = \begin{bmatrix}6 & 1 & -8\end{bmatrix}^T~ y = [ 6 1 − 8 ] T 在这组正交基下的坐标,即找到系数 c 1 , c 2 , c 3 ~c_1,c_2,c_3~ c 1 , c 2 , c 3 ,使得 y ~\mathbf{y}~ y 能够表示为正交基向量的线性组合:
y = c 1 u 1 + c 2 u 2 + c 3 u 3 \mathbf{y} = c_1 \mathbf{u}_1 + c_2 \mathbf{u}_2 + c_3 \mathbf{u}_3 y = c 1 u 1 + c 2 u 2 + c 3 u 3
计算内积 。根据定理 5 ~5~ 5 ,系数 c j ~c_j~ c j 由以下公式给出:
c j = y ⋅ u j u j ⋅ u j c_j = \frac{\mathbf{y} \cdot \mathbf{u}_j}{\mathbf{u}_j \cdot \mathbf{u}_j} c j = u j ⋅ u j y ⋅ u j
分别计算点积:
y ⋅ u 1 = 11 , y ⋅ u 2 = − 12 , y ⋅ u 3 = − 33 u 1 ⋅ u 1 = 11 , u 2 ⋅ u 2 = 6 , u 3 ⋅ u 3 = 33 / 2 \begin{aligned}
\mathbf{y} \cdot \mathbf{u}_1 &= 11, \quad & \mathbf{y} \cdot \mathbf{u}_2 &= -12, \quad & \mathbf{y} \cdot \mathbf{u}_3 &= -33 \\[1ex]
\mathbf{u}_1 \cdot \mathbf{u}_1 &= 11, \quad & \mathbf{u}_2 \cdot \mathbf{u}_2 &= 6, \quad & \mathbf{u}_3 \cdot \mathbf{u}_3 &= 33/2
\end{aligned} y ⋅ u 1 u 1 ⋅ u 1 = 11 , = 11 , y ⋅ u 2 u 2 ⋅ u 2 = − 12 , = 6 , y ⋅ u 3 u 3 ⋅ u 3 = − 33 = 33/2
计算权重系数 :
c 1 = 11 11 = 1 , c 2 = − 12 6 = − 2 , c 3 = − 33 33 / 2 = − 2 \begin{aligned}
\mathbf{c}_1 &= \frac{11}{11} &= 1, \quad &
\mathbf{c}_2 &= \frac{-12}{6} &= -2, \quad &
\mathbf{c}_3 &= \frac{-33}{33/2} &= -2
\end{aligned} c 1 = 11 11 = 1 , c 2 = 6 − 12 = − 2 , c 3 = 33/2 − 33 = − 2
组合得到向量 :
y = u 1 − 2 u 2 − 2 u 3 \mathbf{y} = \mathbf{u}_1 -2 \mathbf{u}_2 - 2\mathbf{u}_3 y = u 1 − 2 u 2 − 2 u 3
这说明 y ~\mathbf{y}~ y 在正交基 U = { u 1 , u 2 , u 3 } ~\mathcal{U} = \{\mathbf{u}_1,\mathbf{u}_2,\mathbf{u}_3\}~ U = { u 1 , u 2 , u 3 } 下的坐标为: y u = [ 1 − 2 − 2 ] T \mathbf{y}_\mathcal{u} = \begin{bmatrix}1 & -2 & -2\end{bmatrix}^T y u = [ 1 − 2 − 2 ] T 。下面的三维场景可视化地展示了这一线性组合关系:
3. 正交投影
定理 5 ~5~ 5 还可以从几何角度来做出解释,这需要借助正交投影 ( orthogonal projection ) ~(\textbf{orthogonal projection})~ ( orthogonal projection ) 的概念。对 R n ~\mathbb{R^n}~ R n 空间中的任意向量 y ~\mathbf{y}~ y 以及 R n ~\mathbb{R^n}~ R n 中的一个非零向量 u ~\mathbf{u}~ u ,我们尝试对向量 y ~\mathbf{y}~ y 进行分解:一个向量指向 u ~\mathbf{u}~ u 的方向,另一个与 u ~\mathbf{u}~ u 正交的向量:
y = y ^ + z (1) \mathbf{y} = \hat{\mathbf{y}} + \mathbf{z}\tag{1} y = y ^ + z ( 1 ) 如图所示, y ^ ~\hat{\mathbf{y}}~ y ^ 就是 y ~\mathbf{y}~ y 在 u ~\mathbf{u}~ u 方向上的正交投影 ,所以我们可以设 y ^ = α u ~\hat{\mathbf{y}} = \alpha \mathbf{u}~ y ^ = α u 。接下来我们只要求出这个系数 α ~\alpha~ α 的表达式,就可以很方便的求出 y ^ ~\hat{\mathbf{y}}~ y ^ 。因为 z = y − y ^ ~\mathbf{z} = \mathbf{y} - \hat{\mathbf{y}}~ z = y − y ^ 与 u ~\mathbf{u}~ u 正交,所以它们的点积为 0 ~0~ 0 :
( y − y ^ ) ⋅ u = 0 ⇒ ( y − α u ) ⋅ u = 0 ⇒ α = y ⋅ u u ⋅ u \begin{aligned}
&(\mathbf{y} - \hat{\mathbf{y}}) \cdot \mathbf{u} &= 0 \\[2ex]
\Rightarrow \quad &(\mathbf{y} - \alpha \mathbf{u}) \cdot \mathbf{u} &= 0 \\[2ex]
\Rightarrow \quad & \alpha = \frac{\mathbf{y}\cdot \mathbf{u}}{\mathbf{u}\cdot \mathbf{u}}
\end{aligned} ⇒ ⇒ ( y − y ^ ) ⋅ u ( y − α u ) ⋅ u α = u ⋅ u y ⋅ u = 0 = 0
现在,我们就得到了计算投影向量 y ^ ~\hat{\mathbf{y}}~ y ^ 的表达式:
y ^ = proj L y = y ⋅ u u ⋅ u u (2) \hat{\mathbf{y}} = \text{proj}_L\mathbf{y} = \frac{\mathbf{y}\cdot \mathbf{u}}{\mathbf{u}\cdot \mathbf{u}}\mathbf{u}\tag{2} y ^ = proj L y = u ⋅ u y ⋅ u u ( 2 )
不难发现,投影向量 y ^ ~\hat{\mathbf{y}}~ y ^ 跟 u ~\mathbf{u}~ u 的长度(范数)没有关系,它只跟 u ~\mathbf{u}~ u 的方向有关。下面是一个根据公式 ( 2 ) ~(2)~ ( 2 ) 计算向量 y ~\mathbf{y}~ y 在向量 u ~\mathbf{u}~ u 方向的投影的示例:
观察上图可以发现,在向量 u ~\mathbf{u}~ u 的方向上,y ^ \hat{\mathbf{y}} y ^ 点是离向量 y ~\mathbf{y}~ y 最近的点 ,它们之间的距离为 ∥ y − y ^ ∥ = ( − 1 ) 2 + 2 2 = 5 ~\|\mathbf{y} - \hat{\mathbf{y}}\| = \sqrt{(-1)^2 + 2^2} = \sqrt{5}~ ∥ y − y ^ ∥ = ( − 1 ) 2 + 2 2 = 5 。
4. 定理 5 ~5~ 5 的几何解释
现在,我们就可以利用正交投影的概念来解释定理 5 ~5~ 5 的几何意义了。在定理 5 ~5~ 5 中,向量 y ~\mathbf{y}~ y 在正交基下分解出的分量的系数 c j = y ⋅ u u j ⋅ u j c_j = \frac{\mathbf{y}\cdot \mathbf{u}}{\mathbf{u}_j\cdot \mathbf{u}_j} c j = u j ⋅ u j y ⋅ u 和 y ~\mathbf{y}~ y 投影到 u ~\mathbf{u}~ u 方向的向量 y ^ ~\hat{\mathbf{y}}~ y ^ 的表达式系数 α ~\alpha~ α 是相同的。在 R 2 ~\mathbb{R^2}~ R 2 中,根据定理 5 ~5~ 5 ,向量 y ~\mathbf{y}~ y 可分解为:
y = y ⋅ u 1 u 1 ⋅ u 1 u 1 + y ⋅ u 2 u 2 ⋅ u 2 u 2 \mathbf{y} = \frac{\mathbf{y} \cdot \mathbf{u}_1}{\mathbf{u}_1 \cdot \mathbf{u}_1} \mathbf{u}_1 + \frac{\mathbf{y} \cdot \mathbf{u}_2}{\mathbf{u}_2 \cdot \mathbf{u}_2} \mathbf{u}_2 y = u 1 ⋅ u 1 y ⋅ u 1 u 1 + u 2 ⋅ u 2 y ⋅ u 2 u 2
从几何角度来解释,向量 y ~\mathbf{y}~ y 可(正交)分解为沿正交向量 u 1 ~\mathbf{u}_1~ u 1 的投影向量 y 1 ^ ~\hat{\mathbf{y}_1}~ y 1 ^ 与沿正交向量 u 2 ~\mathbf{u}_2~ u 2 的投影向量 y 1 ^ ~\hat{\mathbf{y}_1}~ y 1 ^ 之和: y = y 1 ^ + y 2 ^ \mathbf{y} = \hat{\mathbf{y}_1} + \hat{\mathbf{y}_2} y = y 1 ^ + y 2 ^ 。
4. 在物理学中的应用
在物理学和工程力学中,力是一个矢量,可表示为向量 F ~\mathbf{F}~ F ,目标方向用另一个向量 u ~\mathbf{u}~ u 来表示。在许多实际问题中,施加的力 F ~\mathbf{F}~ F 并不完全沿着目标方向 u ~\mathbf{u}~ u ,例如在拖车牵引汽车的过程中,牵引力的方向( F ~\mathbf{F}~ F 的方向)可能与汽车的实际运动方向( u ~\mathbf{u}~ u 的方向)不完全一致。这时,我们可以利用正交投影的概念,将力 F ~\mathbf{F}~ F 分解为两个分量:一个沿着拖车方向的分量 F ^ ~\hat{\mathbf{F}}~ F ^ 和一个垂直(正交)于拖车方向的分量 F − F ^ ~\mathbf{F} - \hat{\mathbf{F}}~ F − F ^ 。
假设拖车施加的牵引力 F ~\mathbf{F}~ F 以及拖车方向 u ~\mathbf{u}~ u 如下:
F = [ 1.0 0.8 ] kN , u = [ 4 1 ] \mathbf{F} = \begin{bmatrix} 1.0 \\ 0.8 \end{bmatrix} \text{ kN}, \quad \mathbf{u} = \begin{bmatrix} 4 \\ 1 \end{bmatrix} F = [ 1.0 0.8 ] kN , u = [ 4 1 ]
计算力在拖车方向上的正交投影:
F ^ = F ⋅ u u ⋅ u u = [ 1.129 0.282 ] kN \mathbf{\hat{F}} = \frac{\mathbf{F} \cdot \mathbf{u}}{\mathbf{u} \cdot \mathbf{u}} \mathbf{u} = \begin{bmatrix} 1.129 \\ 0.282 \end{bmatrix} \text{ kN} F ^ = u ⋅ u F ⋅ u u = [ 1.129 0.282 ] kN
投影方向上的力的大小(即 F ^ ~\hat{\mathbf{F}}~ F ^ 的模长)为: ∥ F ^ ∥ = 1.129 2 + 0.282 2 ≈ 1.164 kN \|\mathbf{\hat{F}}\| = \sqrt{1.129^2 + 0.282^2} \approx 1.164 \text{ kN} ∥ F ^ ∥ = 1.12 9 2 + 0.28 2 2 ≈ 1.164 kN 。这个力便是拖车施加于小汽车在运动方向上的力。
5. 标准正交集与标准正交基
如果一组向量 { u 1 , u 2 , ⋯ , u p } ~\{\mathbf{u}_1,\mathbf{u}_2,\cdots,\mathbf{u}_p\}~ { u 1 , u 2 , ⋯ , u p } 既两两正交,又都是单位向量(长度为 1 ~1~ 1 ),那么这组向量被称标准正交集 ( Orthonormal Sets ) ~(\textbf{Orthonormal Sets})~ ( Orthonormal Sets ) 。如果该集合的向量数量等于空间 W ~W~ W 的维度,则它构成空间 W ~W~ W 的标准正交基 ( Orthonormal Basis ) ~(\textbf{Orthonormal Basis})~ ( Orthonormal Basis ) 。标准正交基通常被用作最优基 ,它可以进一步以提升运算效率和精度。
上面三维场景中的三个向量如下:
v 1 = [ 3 / 11 1 / 11 1 / 11 ] , v 2 = [ − 1 / 6 2 / 6 1 / 6 ] , v 3 = [ − 1 / 66 − 4 / 66 7 / 66 ] \mathbf{v}_1 = \begin{bmatrix} 3/\sqrt{11} \\ 1/\sqrt{11} \\ 1/\sqrt{11} \end{bmatrix}, \quad \mathbf{v}_2 = \begin{bmatrix} -1/\sqrt{6} \\ 2/\sqrt{6} \\ 1/\sqrt{6} \end{bmatrix}, \quad \mathbf{v}_3 = \begin{bmatrix} -1/\sqrt{66} \\ -4/\sqrt{66} \\ 7/\sqrt{66} \end{bmatrix} v 1 = 3/ 11 1/ 11 1/ 11 , v 2 = − 1/ 6 2/ 6 1/ 6 , v 3 = − 1/ 66 − 4/ 66 7/ 66
其中任意两个向量正交,验证其中一组点积 v 1 ⋅ v 2 ~\mathbf{v}_1\cdot \mathbf{v}_2~ v 1 ⋅ v 2 :
v 1 ⋅ v 2 = ( 3 / 11 ⋅ − 1 / 6 ) + ( 1 / 11 ⋅ 2 / 6 ) + ( 1 / 11 ⋅ 1 / 6 ) = 0 \mathbf{v}_1 \cdot \mathbf{v}_2 = \left( 3/\sqrt{11} \cdot -1/\sqrt{6} \right) + \left( 1/\sqrt{11} \cdot 2/\sqrt{6} \right) + \left( 1/\sqrt{11} \cdot 1/\sqrt{6} \right) = 0 v 1 ⋅ v 2 = ( 3/ 11 ⋅ − 1/ 6 ) + ( 1/ 11 ⋅ 2/ 6 ) + ( 1/ 11 ⋅ 1/ 6 ) = 0
每个向量的长度(范数)也为 1 ~1~ 1 ,验证 v 1 ~\mathbf{v}_1~ v 1 :
∥ v 1 ∥ 2 = ( 3 / 11 ) 2 + ( 1 / 11 ) 2 + ( 1 / 11 ) 2 = 1 \|\mathbf{v}_1\|^2 = \left( 3/\sqrt{11} \right)^2 + \left( 1/\sqrt{11} \right)^2 + \left( 1/\sqrt{11} \right)^2 = 1 ∥ v 1 ∥ 2 = ( 3/ 11 ) 2 + ( 1/ 11 ) 2 + ( 1/ 11 ) 2 = 1
v 1 , v 2 , v 3 \mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3~ v 1 , v 2 , v 3 互相正交且长度为 1 ~1~ 1 ,因此它们是标准正交集。由于它们是线性无关的,并且有 3 ~3~ 3 个向量张成 R 3 ~\mathbb{R^3}~ R 3 ,因此它们可作为 R 3 ~\mathbb{R^3}~ R 3 的标准正交基。
6. 列正交矩阵及其性质
标准正交集可以作为向量空间的理想基底,简化计算并优化投影操作。在实际计算中,我们通常将这些基向量组织成矩阵形式,由标准正交集的向量作为列向量构成的矩阵,被称为列正交矩阵 (或具有标准正交列向量的矩阵 )。它有一个关键的性质,可由以下定理给出:
定理 6
标准正交列矩阵的性质
一个 m × n ~m\times n~ m × n 矩阵 U ~\mathbf{U}~ U 的列向量是标准正交的充要条件是: U T U = I \mathbf{U}^T\mathbf{U} = \mathbf{I} U T U = I ,其中 I ~\mathbf{I}~ I 是 n × n ~n\times n~ n × n 单位矩阵。
为了简化记号,我们假设 U ~\mathbf{U}~ U 只有三列,每列都是 R m ~\mathbb{R^m}~ R m 中的向量,即:
U = [ u 1 u 2 u 3 ] \mathbf{U} = \begin{bmatrix} \mathbf{u}_1 & \mathbf{u}_2 & \mathbf{u}_3 \end{bmatrix} U = [ u 1 u 2 u 3 ]
计算 U T U \mathbf{U}^T \mathbf{U} U T U :
U T U = [ u 1 T u 1 u 1 T u 2 u 1 T u 3 u 2 T u 1 u 2 T u 2 u 2 T u 3 u 3 T u 1 u 3 T u 2 u 3 T u 3 ] \mathbf{U}^T \mathbf{U} =
\begin{bmatrix}
\mathbf{u}_1^T \mathbf{u}_1 & \mathbf{u}_1^T \mathbf{u}_2 & \mathbf{u}_1^T \mathbf{u}_3 \\
\mathbf{u}_2^T \mathbf{u}_1 & \mathbf{u}_2^T \mathbf{u}_2 & \mathbf{u}_2^T \mathbf{u}_3 \\
\mathbf{u}_3^T \mathbf{u}_1 & \mathbf{u}_3^T \mathbf{u}_2 & \mathbf{u}_3^T \mathbf{u}_3
\end{bmatrix} U T U = u 1 T u 1 u 2 T u 1 u 3 T u 1 u 1 T u 2 u 2 T u 2 u 3 T u 2 u 1 T u 3 u 2 T u 3 u 3 T u 3
由于 U ~\mathbf{U}~ U 的列向量是标准正交的,因此:
若 i ≠ j ~i \neq j~ i = j ,则 u i T u j = 0 ~u_i^T u_j = 0~ u i T u j = 0 (正交性)。
若 i = j ~i = j~ i = j ,则 u i T u i = 1 ~u_i^T u_i = 1~ u i T u i = 1 (单位长度)。
因此,矩阵 U T U ~U^T U~ U T U 具有单位矩阵的形式,证明成立。
利用定理 6 ~6~ 6 的结论,我们能够简化正交性验证、优化线性方程求解、提高数值计算的稳定性,因此它广泛应用于最小二乘法、数据降维、计算机图形学和机器学习等场景。进一步地,下面的定理 7 ~7~ 7 详细揭示了列正交矩阵在变换过程中如何保持向量的几何特性,包括长度、内积和正交性,这些性质在各种变换和数据处理过程中至关重要。
定理 7
标准正交变换的几何性质
设 U ~\mathbf{U}~ U 是一个 m × n ~m\times n~ m × n 矩阵,且其列向量是标准正交的。对于任意 R n ~\mathbb{R^n}~ R n 中的向量 x ~\mathbf{x}~ x 和 y ~\mathbf{y}~ y ,有以下结论:
保持长度 : ∣ ∣ U x ∥ = ∥ x ∣ ∣ ||\mathbf{U} \mathbf{x}\| = \|\mathbf{x}|| ∣∣ Ux ∥ = ∥ x ∣∣
保持内积 : ( U x ) ⋅ ( U y ) = x ⋅ y (\mathbf{U} \mathbf{x}) \cdot (\mathbf{U} \mathbf{y}) = \mathbf{x} \cdot \mathbf{y} ( Ux ) ⋅ ( Uy ) = x ⋅ y
保持正交性 : ( U x ) ⋅ ( U y ) = 0 当且仅当 x ⋅ y = 0 (\mathbf{U} \mathbf{x}) \cdot (\mathbf{U} \mathbf{y}) = 0 \quad \small{当且仅当} \quad \mathbf{x} \cdot \mathbf{y} = 0 ( Ux ) ⋅ ( Uy ) = 0 当且仅当 x ⋅ y = 0
下面通过一个例题来直观展示定理 7 ~7~ 7 的应用。给定一个列正交矩阵 U ~\mathbf{U}~ U 和一个向量 x ~\mathbf{x}~ x :
U = [ 1 / 2 2 / 3 1 / 2 − 2 / 3 0 1 / 3 ] , x = [ 2 3 ] \mathbf{U} = \begin{bmatrix} 1/\sqrt{2} & 2/3 \\ 1/\sqrt{2} & -2/3 \\ 0 & 1/3 \end{bmatrix}, \quad \mathbf{x} = \begin{bmatrix} \sqrt{2} \\ 3 \end{bmatrix} U = 1/ 2 1/ 2 0 2/3 − 2/3 1/3 , x = [ 2 3 ]
验证矩阵变换 x ↦ U x ~\mathbf{x} \mapsto \mathbf{U} \mathbf{x}~ x ↦ Ux 不会改变向量 x ~\mathbf{x}~ x 的长度。
1
计算矩阵乘法 U x \mathbf{U}\mathbf{x} Ux
U x = [ 1 / 2 2 / 3 1 / 2 − 2 / 3 0 1 / 3 ] [ 2 3 ] = [ 3 − 1 1 ] \mathbf{U} \mathbf{x} =
\begin{bmatrix}
1/\sqrt{2} & 2/3 \\
1/\sqrt{2} & -2/3 \\
0 & 1/3
\end{bmatrix}
\begin{bmatrix} \sqrt{2} \\ 3 \end{bmatrix} = \begin{bmatrix} 3 \\ -1 \\ 1 \end{bmatrix} Ux = 1/ 2 1/ 2 0 2/3 − 2/3 1/3 [ 2 3 ] = 3 − 1 1 ∥ U x ∥ = 3 2 + ( − 1 ) 2 + 1 2 = 9 + 1 + 1 = 11 ∥ x ∥ = ( 2 ) 2 + 3 2 = 2 + 9 = 11 \begin{aligned}
\|\mathbf{U} \mathbf{x}\| &= \sqrt{3^2 + (-1)^2 + 1^2} = \sqrt{9 + 1 + 1} = \sqrt{11} \\[2ex]
\|\mathbf{x}\| &= \sqrt{(\sqrt{2})^2 + 3^2} = \sqrt{2 + 9} = \sqrt{11}
\end{aligned} ∥ Ux ∥ ∥ x ∥ = 3 2 + ( − 1 ) 2 + 1 2 = 9 + 1 + 1 = 11 = ( 2 ) 2 + 3 2 = 2 + 9 = 11 如果列正交矩阵是一个方阵 ( n × n ) ~(n\times n)~ ( n × n ) ,那么它就是一个正交矩阵 ( Orthogonal Matrix ) ~(\textbf{Orthogonal Matrix})~ ( Orthogonal Matrix ) 。它不仅满足所有列正交矩阵的性质,还具有两个独特的性质:行、列向量都是正交、归一的 ;其逆矩阵等于其转置矩阵 ,即: Q − 1 = Q T ~\mathbf{Q}^{-1} = \mathbf{Q}^T~ Q − 1 = Q T 。例如,我们常用的旋转矩阵就是一个典型的正交矩阵:
Q = [ cos θ − sin θ sin θ cos θ ] \mathbf{Q} = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix} Q = [ cos θ sin θ − sin θ cos θ ]
从几何角度来看,正交矩阵描述的是保持物体形状和尺寸不变的几何变换,通常对应于旋转或反射(镜像变换),它们属于刚体变换 的一部分。