内积、长度和正交性

本节定义了内积、范数、距离、正交性，并探讨了行空间、列空间与零空间的正交关系，奠定了正交投影、最小二乘法、 $~\mathbf{QR}~$ 分解等重要方法的基础。

1. 内积的定义与性质

提出内积 $~(\textbf{Inner Product})~$ 这个概念，主要是为了在向量空间中推广欧几里得几何的概念。它包括：定义向量的长度（范数）、定义向量间的角度与正交性、计算投影。这些基础概念是继续研究正交矩阵、最小二乘法、特征值分解 $~(\textbf{Eigen Decomposition})~$ 、奇异值分解 $~(\textbf{SVD})~$ 等核心内容的基础。

1.1 内积的定义

在欧几里得空间 $~\mathbb{R^n}~$ 中，内积是两个向量之间的一种运算，它将两个向量映射为一个标量 $~(\textbf{scalar})~$ ，用来度量它们之间的相似性或投影关系。对于两个 $~n~$ 维向量：

\mathbf{u} = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix}, \quad \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}

它们的内积（或称点积， $\textbf{dot product})~$ 定义为：

\mathbf{u} \cdot \mathbf{v} = u_1 v_1 + u_2 v_2 + \cdots + u_n v_n

也可写作矩阵乘法的形式：

\mathbf{u}^T \mathbf{v} = \begin{bmatrix} u_1 & u_2 & \dots & u_n \end{bmatrix} \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}

内积的结果是一个标量（ $~1\times 1~$ 矩阵）。向量的内积结果具有明确的几何意义：

当两个向量的内积为正时，它们的方向相近，夹角小于 $~90^\circ~$ ；当内积为零时，两个向量正交（垂直），夹角为 $~90^\circ~$ ；当内积为负时，它们的方向相反，夹角大于 $~90^\circ~$ 。

1.2 内积的性质

设 $~\mathbf{u},\mathbf{v},\mathbf{w}~$ 是 $~\mathbb{R^n}~$ 中的向量， $~c~$ 是标量，内积具有以下性质：

定理 1

内积的性质

$\mathbf{u}\cdot \mathbf{v} = \mathbf{v}\cdot \mathbf{u}$
$(\mathbf{u}+\mathbf{v})\cdot \mathbf{w} = \mathbf{u}\cdot \mathbf{w} + \mathbf{v}\cdot \mathbf{w}$
$(c\mathbf{u})\cdot \mathbf{v} = c(\mathbf{u}\cdot \mathbf{v}) = \mathbf{u}\cdot (c\mathbf{v})$
$\mathbf{u} \cdot \mathbf{u} \geq 0,$ 且 $\mathbf{u} \cdot \mathbf{u} = 0 \iff \mathbf{u} = 0$

\mathbf{u}\cdot \mathbf{v} = \mathbf{v}\cdot \mathbf{u}

内积是数值相乘后求和的过程，乘法本身满足交换律，因此交换顺序不会影响结果。请看下面示例：

\begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} \cdot \begin{bmatrix} 4 \\ 5 \\ 6 \end{bmatrix} = 1 \times 4 + 2 \times 5 + 3 \times 6 = 32

交换顺序：

\begin{bmatrix} 4 \\ 5 \\ 6 \end{bmatrix} \cdot \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} = 4 \times 1 + 5 \times 2 + 6 \times 3 = 32

结果相同。

(\mathbf{u}+\mathbf{v})\cdot \mathbf{w} = \mathbf{u}\cdot \mathbf{w} + \mathbf{v}\cdot \mathbf{w}

如果我们把向量加法看作向量的坐标逐项相加，例如：

\begin{bmatrix} 1 \\ 2 \end{bmatrix} + \begin{bmatrix} 3 \\ 4 \end{bmatrix} = \begin{bmatrix} 4 \\ 6 \end{bmatrix}

那么内积的计算可以拆分成分配计算，对内积计算：

\begin{bmatrix} 4 \\ 6 \end{bmatrix} \cdot \begin{bmatrix} 5 \\ 7 \end{bmatrix} = 4 \times 5 + 6 \times 7 = 62

等价于：

\begin{aligned} \left( \begin{bmatrix} 1 \\ 2 \end{bmatrix} \cdot \begin{bmatrix} 5 \\ 7 \end{bmatrix} \right) + \left( \begin{bmatrix} 3 \\ 4 \end{bmatrix} \cdot \begin{bmatrix} 5 \\ 7 \end{bmatrix} \right) &= (1 \times 5 + 2 \times 7) + (3 \times 5 + 4 \times 7) \\[2ex] &= 19 + 43 \\[2ex] &= 62 \end{aligned}

\begin{aligned} (c\mathbf{u}) \cdot \mathbf{v} &= c (\mathbf{u} \cdot \mathbf{v}) \\[1ex] \mathbf{u} \cdot (c\mathbf{v}) &= c (\mathbf{u} \cdot \mathbf{v}) \end{aligned}

数乘会单独作用于每个分量，因此可以提到整体外部。请看示例：设标量 $c = 2$ ，向量 $\mathbf{u}$ 和 $\mathbf{v}$ 分别为：

\mathbf{u} = \begin{bmatrix} 1 \\ 2 \end{bmatrix}, \quad \mathbf{v} = \begin{bmatrix} 3 \\ 5 \end{bmatrix}

首先，先对 $\mathbf{u}$ 进行数乘：

c\mathbf{u} = 2 \times \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 2 \\ 4 \end{bmatrix}

然后计算内积：

\begin{bmatrix} 2 \\ 4 \end{bmatrix} \cdot \begin{bmatrix} 3 \\ 5 \end{bmatrix} = 2 \times 3 + 4 \times 5 = 26

另一种计算方式：先计算 $\mathbf{u}$ 与 $\mathbf{v}$ 的内积：

\mathbf{u} \cdot \mathbf{v} = \begin{bmatrix} 1 \\ 2 \end{bmatrix} \cdot \begin{bmatrix} 3 \\ 5 \end{bmatrix} = 1 \times 3 + 2 \times 5 = 13

再乘以标量 $c$ ：

c \times 13 = 2 \times 13 = 26

由于平方和始终非负，所以内积不可能小于 $~0~$ ，只有当所有分量都为 $~0~$ 时，内积才为 $~0~$ 。请看下面两个例子：

\begin{bmatrix} 3 \\ -4 \end{bmatrix} \cdot \begin{bmatrix} 3 \\ -4 \end{bmatrix} = 3^2 + (-4)^2 = 25

当且仅当：

\begin{bmatrix} 0 \\ 0 \end{bmatrix} \cdot \begin{bmatrix} 0 \\ 0 \end{bmatrix} = 0

这说明只有零向量才会让内积为 0。

2. 向量的长度（范数）

向量的长度用于度量向量的大小，帮助定义距离、方向、归一化及相似性，是计算几何、数据分析和机器学习等领域的重要工具。

2.1 向量的长度（范数）的定义

在欧几里得空间 $\mathbb{R}^n$ 中，向量的长度（或称范数， $\textbf{Norm}$ ）是衡量向量大小的重要概念，表示从原点到该向量终点的欧几里得距离。对于一个 $~n~$ 维向量：

\mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}

它的长度（或称二范数， $\ell_2-\text{norm}$ ）定义为：

\|\mathbf{v}\| = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2}

换一种表达方式：

\|\mathbf{v}\| = \sqrt{\mathbf{v} \cdot \mathbf{v}}

其中， $\mathbf{v} \cdot \mathbf{v}$ 表示向量自身的内积（点积）。

2.2 向量长度的几何意义

在二维空间 $~\mathbb{R^2}~$ 中，向量长度等同于直角三角形中的斜边长度，符合勾股定理：

\|\mathbf{v}\| = \sqrt{x^2 + y^2}

其中 $~x,y~$ 为向量的横纵坐标。在三维空间 $~\mathbb{R^3}~$ 中，向量的长度为：

\|\mathbf{v}\| = \sqrt{x^2 + y^2 + z^2}

在更高维的空间，仍然保持相同形式，它度量了向量到原点的直线距离。

2.3 归一化（单位向量） {#normalization_(unit_vector)}

若一个向量的长度为 $~1~$ ，则称其为单位向量 $~(\textbf{Unit Vectoer})~$ 给定任意非零向量 $~\mathbf{v}~$ ，我们可以通过归一化 $~(\textbf{Normalization})~$ 得到与其方向相同的单位向量：

\mathbf{u} = \frac{\mathbf{v}}{\|\mathbf{v}\|}

即用向量自身除以它的长度，使其长度变为 $~1~$ 。若向量

\mathbf{v} = \begin{bmatrix}3 \\ 4 \end{bmatrix}

其单位向量计算如下：

\mathbf{u} = \frac{1}{5} \begin{bmatrix} 3 \\ 4 \end{bmatrix} = \begin{bmatrix} 3/5 \\ 4/5 \end{bmatrix}

验证其长度：

\|\mathbf{u}\| = \sqrt{\left(\frac{3}{5}\right)^2 + \left(\frac{4}{5}\right)^2} = \sqrt{\frac{9}{25} + \frac{16}{25}} = \sqrt{\frac{25}{25}} = 1

2.4 向量长度的性质

设 $~\mathbf{u},\mathbf{v}~$ 是 $~\mathbb{R^n}~$ 中的向量， $~c~$ 是标量，向量的范数满足以下性质：

\|\mathbf{v}\| \geq 0

只有当 $\mathbf{v} = 0$ 时， $\|\mathbf{v}\| = 0$ 。

\|c\mathbf{v}\| = |c| \|\mathbf{v}\|

说明乘以标量只会影响向量的长度，而不会改变其方向。

\|\mathbf{u} + \mathbf{v}\| \leq \|\mathbf{u}\| + \|\mathbf{v}\|

说明两个向量相加的长度不超过各自长度之和。

\|\mathbf{u} + \mathbf{v}\|^2 + \|\mathbf{u} - \mathbf{v}\|^2 = 2 (\|\mathbf{u}\|^2 + \|\mathbf{v}\|^2)

该公式广泛用于内积空间的研究。

3. 向量间的距离

向量间的距离衡量它们在空间中的接近程度，即直线距离，从而反映相似性或差异性。它广泛应用于机器学习、信号处理、计算机视觉、推荐系统等领域，助力数据分析、分类、聚类等任务。

3.1 向量间的距离的定义

在欧几里得空间 $~\mathbb{R^n}~$ 中，向量之间的距离衡量的是两个向量在空间中的"接近程度"。对于两个向量 $\mathbf{u}, \mathbf{v}$ ，它们之间的欧几里得距离 $~(\textbf{Euclidean Distance})~$ 定义为：

\text{dist}(\mathbf{u}, \mathbf{v}) = \|\mathbf{u} - \mathbf{v}\|

即两个向量的差向量 $~(\textbf{Euclidean Distance})~$ 的长度（范数）。展开计算：

\text{dist}(\mathbf{u}, \mathbf{v}) = \sqrt{(u_1 - v_1)^2 + (u_2 - v_2)^2 + \cdots + (u_n - v_n)^2}

换句话说，向量间的距离即对应元素之差的平方和的平方根。

3.2 向量距离的几何意义

在二维空间 $~\mathbb{R^2}~$ ，距离公式等同于两点间的直线距离，即：

\text{dist}(\mathbf{u}, \mathbf{v}) = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2}

在三维空间 $~\mathbb{R^3}~$ ，距离扩展为：

\text{dist}(\mathbf{u}, \mathbf{v}) = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2 + (z_2 - z_1)^2}

该公式描述的是两点间的欧几里得直线距离。在高维空间 $~\mathbb{R^n}~$ ，向量间的距离依然保持相同的计算方式，它表示的是从 $~\mathbf{u}~$ 到 $~\mathbf{v}~$ 的最短路径，即直线距离。

3.3 向量距离的性质

设 $~\mathbf{u},\mathbf{v},\mathbf{w}~$ 是 $~\mathbb{R^n}~$ 中的向量，向量间的欧几里得距离具有以下重要性质：

\text{dist}(\mathbf{u}, \mathbf{v}) \geq 0

说明距离不会为负。只有当 $~\mathbf{u} = \mathbf{v}~$ 时，距离才为 $~0~$ ，即：

\text{dist}(\mathbf{u}, \mathbf{v}) = 0 \iff \mathbf{u} = \mathbf{v}

\text{dist}(\mathbf{u}, \mathbf{v}) = \text{dist}(\mathbf{v}, \mathbf{u})

说明向量 $~\mathbf{u}~$ 到 $~\mathbf{v}~$ 的距离与 $~\mathbf{v}~$ 到 $~\mathbf{u}~$ 的距离是相等的。

\text{dist}(\mathbf{u}, \mathbf{w}) \leq \text{dist}(\mathbf{u}, \mathbf{v}) + \text{dist}(\mathbf{v}, \mathbf{w})

说明从 $~\mathbf{u}~$ 到 $~\mathbf{w}~$ 的直线距离不会超过先到 $~\mathbf{v}~$ 再到 $~\mathbf{w}~$ 的距离之和。等式成立的前提是 $~\mathbf{u},\mathbf{v},\mathbf{w}~$ 三个向量共线。

4. 正交向量的定义

正交向量表示相互独立、不相关的方向，在线性代数、数据分析、信号处理、最小二乘法等领域用于构建正交基、计算投影和优化计算。

4.1 正交向量的定义

在欧几里得空间 $~\mathbb{R}^n~$ 中，两个向量 $~\mathbf{u}~$ 和 $~\mathbf{v}~$ 被称为正交 $~(\textbf{orthogonal})~$ ，当且仅当它们的内积为 $~0~$ ，即：

\mathbf{u} \cdot \mathbf{v} = 0

或者用矩阵形式表示：

\mathbf{u}^T \mathbf{v} = 0

内积等于 $~0~$ 意味着两个向量之间的夹角 $~\theta~$ 为 $~90^\circ~$ ，即：

\cos\theta = \frac{\mathbf{u} \cdot \mathbf{v}}{\|\mathbf{u}\| \|\mathbf{v}\|} = 0

4.2 正交向量的几何意义

在二维空间 $~\mathbb{R^2}~$ 中，向量 $~\mathbf{u} = \begin{bmatrix}1 & 0\end{bmatrix}^T~$ 和 $~\mathbf{v} = \begin{bmatrix}0 & 1\end{bmatrix}^T~$ 是正交的，因为：

\mathbf{u} \cdot \mathbf{v} = 1 \times 0 + 0 \times 1 = 0

向量 $~\mathbf{u},\mathbf{v}~$ 对应于直角坐标系中的标准基向量，它们互相垂直。

在三维空间 $~\mathbb{R^3}~$ 中，向量 $~\mathbf{u}=\begin{bmatrix}1 & 2 & -1\end{bmatrix}^T~$ 和 $~\mathbf{v}=\begin{bmatrix}2 & -1 & 0\end{bmatrix}^T~$ 是正交的，因为：

\mathbf{u} \cdot \mathbf{v} = 1 \times 2 + 2 \times (-1) + (-1) \times 0 = 2 - 2 + 0 = 0

在高维空间中，正交向量的概念依然适用。例如，高维数据分析中通常会使用正交向量来构建正交基 $~(\textbf{orthonormal basis})~$ ，以便简化计算和数据变换。

4.3 正交向量的性质

由于 $0\cdot \mathbf{v} = 0$ 对任意向量 $~\mathbf{v}~$ 都成立，因此零向量与所有向量正交。

若 $~\mathbf{u}~$ 和 $~\mathbf{v}~$ 正交，且它们的范数均为 $~1~$ （即单位向量），则称它们构成标准正交基。

此外，正交向量还具有一个重要性质，它是勾股定理在向量空间中的推广。勾股定理描述了直角三角形的斜边平方等于两直角边平方之和，而在向量空间中，这一定理可以推广如下：

定理 2

毕达哥拉斯定理（

\textbf{Pythagorean Theorem}

）

向量 $~\mathbf{u}~$ 和 $~\mathbf{v}~$ 正交的充分必要条件是 $\|\mathbf{u} + \mathbf{v}\|^2 = \|\mathbf{u}\|^2 + \|\mathbf{v}\|^2$ 。

5. 正交补空间

正交补空间由与给定子空间正交的所有向量组成，在最小二乘法、数据降维 $~(\textbf{PCA})~$ 等领域用于分析向量的独立性和空间分解。

5.1 正交补空间的定义

在向量空间 $\mathbb{R}^n$ 中，给定一个子空间 $~W~$ ，其正交补 $~(\textbf{Orthogonal Complement})~$ 记作 $W^\perp$ ，定义如下：

W^\perp = \{\mathbf{v} \in \mathbb{R}^n \mid \mathbf{v} \text{ 与 } W \text{ 中的所有向量正交} \}

即，正交补 $W^\perp$ 是所有与 $~W~$ 中向量正交的向量组成的集合。

5.2 正交补空间的几何意义

在几何上，正交补 $W^\perp$ 代表的是所有垂直于 $~W~$ 的方向，在 $~\mathbb{R^2}~$ 中，如果 $~W~$ 是一条直线（通过原点），那么 $W^\perp$ 是与该直线垂直的另一条直线。在 $~\mathbb{R^3}~$ 中，如果 $~W~$ 是一个平面（过原点），那么 $W^\perp$ 是垂直于该平面的直线；如果 $~W~$ 是一条直线（过原点），那么 $W^\perp$ 是垂直于该直线的平面。

5.3 如何求正交补空间

要求一个子空间 $~W~$ 的正交补 $W^\perp$ ，通常按照以下步骤：

设 $~W~$ 由 $~k~$ 个线性无关的向量 $~\mathbf{w}_1,\mathbf{w}_2,\cdots,\mathbf{w}_k~$ 张成。

找出所有与 $~W~$ 中所有基向量正交的向量 $~\mathbf{v} = \begin{bmatrix}x_1,x_2,\cdots,x_n\end{bmatrix}^T~$ ，即解方程组：

\mathbf{w}_1 \cdot \mathbf{v} = 0, \quad \mathbf{w}_2 \cdot \mathbf{v} = 0, \quad \ldots, \quad \mathbf{w}_k \cdot \mathbf{v} = 0

这是一组齐次线性方程。

方程组的解空间即 $W^\perp$ 。

5.4 正交补空间的性质

这个性质直接定义了正交补空间，即 $~W^\perp$ 由所有与 $~W~$ 内向量正交的向量组成。

这个性质确保了 $~W^\perp$ 仍然是一个向量空间，所以它也满足：

零空间 $~\mathbf{0}~$ 必定属于 $~W^\perp$ 。
封闭性：若 $\mathbf{v},\mathbf{w} \in W^\perp$ ，则它们的线性组合 $~c_1\mathbf{v} + c_2\mathbf{w}$ 仍然在 $~W^\perp$ 内。
加法封闭性： $~W^\perp$ 中两个向量相加仍在 $~W^\perp$ 内。

正交补揭示了矩阵空间的结构，特别是行空间、列空间与零空间的正交补关系，它在分析矩阵的解空间、线性系统的自由度以及最小二乘逼近等问题中具有重要作用。下面的定理描述了这些关系：

定理 3

行空间与零空间的正交补关系

设 $~\mathbf{A}~$ 是一个 $~m\times n~$ 矩阵，则：

行空间的正交补是矩阵的零空间：

(\text{Row } A)^\perp = \text{Nul } A

即，矩阵 $~\mathbf{A}~$ 的零空间包含了所有与其行向量正交的向量。

列空间的正交补是转置矩阵的零空间：

(\text{Col } A)^\perp = \text{Nul } A^T

即，矩阵 $~\mathbf{A}^T~$ 的零空间包含了所有与 $~\mathbf{A}~$ 的列向量正交的向量。

下面是定理 $~3~$ 的证明过程：

设 $\mathbf{x} \in \text{Nul } \mathbf{A}$ $x \in Nul A$ ，即 $\mathbf{A}\mathbf{x} = 0$ $Ax = 0$
- 设矩阵 $~\mathbf{A}~$ 由行向量组成：
  $\mathbf{A} = \begin{bmatrix} \mathbf{r}_1 \\ \mathbf{r}_2 \\ \vdots \\ \mathbf{r}_m \end{bmatrix}$
  其中 $\mathbf{r}_i$ 是 $~\mathbf{A}~$ 的第 $~i~$ 行向量。
- 计算矩阵乘法：
  $\mathbf{A}\mathbf{x} = \begin{bmatrix} \mathbf{r}_1 \\ \mathbf{r}_2 \\ \vdots \\ \mathbf{r}_m \end{bmatrix} \mathbf{x} = \begin{bmatrix} \mathbf{r}_1 \cdot \mathbf{x} \\ \mathbf{r}_2 \cdot \mathbf{x} \\ \vdots \\ \mathbf{r}_m \cdot \mathbf{x} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}$
  这说明 $~\mathbf{x}~$ 与所有行向量正交，因此 $~\mathbf{x} \in (\text{Row } \mathbf{A})^\perp$ 。
反向证明：若 $\mathbf{x} \in \text{Row} \mathbf{A}^T$ $x \in Row A^{T}$ ，则 $\mathbf{x} \in \text{Nul} \mathbf{A}$ $x \in Nul A$
- 若 $~\mathbf{x}~$ 与 $~\mathbf{A}~$ 的所有行向量正交，则
  $\mathbf{r}_i \cdot \mathbf{x} = 0, \quad \forall i = 1,2,\dots,m$
  这意味着：
  $\mathbf{A}\mathbf{x} = 0$
  即 $~\mathbf{x}~$ 属于零空间 $\text{Nul } A$ 。因此， $(\text{Row } A)^\perp = \text{Nul } A$ 。

由于 $~\text{Row } \mathbf{A}^T = \text{Col } \mathbf{A}$ ，将 $\mathbf{A}^T$ 代入上面的结论：
$(\text{Row } \mathbf{A}^T)^\perp = \text{Nul } \mathbf{A}^T$
再由 $~\text{Row } \mathbf{A}^T = \text{Col } \mathbf{A}$ ，可得：
$(\text{Col } \mathbf{A})^\perp = \text{Nul } \mathbf{A}^T$

6. 向量之间的角度与余弦公式

在欧几里得空间 $~\mathbb{R^n}~$ 中，两个向量 $~\mathbf{u}~$ 和 $~\mathbf{v}~$ 之间的夹角 $~\theta~$ 是度量它们方向关系的重要概念。角度可以通过内积来计算，定义如下：

\cos\theta = \frac{\mathbf{u} \cdot \mathbf{v}}{\|\mathbf{u}\| \|\mathbf{v}\|}

这一公式可以通过余弦定理推导得出。设 $~\mathbf{u}~$ 和 $~\mathbf{v}~$ 是从原点出发的两个向量，它们的端点与 $~\mathbf{u} - \mathbf{v}~$ 形成一个三角形。根据余弦定理，有：

|\mathbf{u} - \mathbf{v}|^2 = |\mathbf{u}|^2 + |\mathbf{v}|^2 - 2|\mathbf{u}||\mathbf{v}|\cos\theta

另一方面，考虑向量模长的平方展开：

|\mathbf{u} - \mathbf{v}|^2 = (\mathbf{u} - \mathbf{v}) \cdot (\mathbf{u} - \mathbf{v})

展开后得到：

|\mathbf{u} - \mathbf{v}|^2 = \mathbf{u} \cdot \mathbf{u} + \mathbf{v} \cdot \mathbf{v} - 2\mathbf{u} \cdot \mathbf{v}

将此等式与余弦定理的表达式对比，得：

-2\mathbf{u} \cdot \mathbf{v} = -2|\mathbf{u}||\mathbf{v}|\cos\theta

整理后：

\cos\theta = \frac{\mathbf{u} \cdot \mathbf{v}}{|\mathbf{u}||\mathbf{v}|}

5.9 在马尔科夫链中的应用

6.2 正交集

内积、长度和正交性

1. 内积的定义与性质

1.1 内积的定义

1.2 内积的性质

1交换律 (Commutativity) ~(\textbf{Commutativity})~ (Commutativity)

2分配律 (Distributivity) ~(\textbf{Distributivity})~ (Distributivity)

3数乘结合性 (Scalar Multiplication Associativity) ~(\textbf{Scalar Multiplication Associativity})~ (Scalar Multiplication Associativity)

4非负性 (Non-negativity) ~(\textbf{Non-negativity})~ (Non-negativity)

2. 向量的长度（范数）

2.1 向量的长度（范数）的定义

2.2 向量长度的几何意义

2.3 归一化（单位向量） {#normalization_(unit_vector)}

2.4 向量长度的性质

1非负性 (Non-negativity) ~(\textbf{Non-negativity})~ (Non-negativity)

2齐次性 (Homogeneity) ~(\textbf{Homogeneity})~ (Homogeneity)

3三角不等式 (Triangle Inequality) ~(\textbf{Triangle Inequality})~ (Triangle Inequality)

4平行四边形法则 (Parallelogram Law) ~(\textbf{Parallelogram Law})~ (Parallelogram Law)

3. 向量间的距离

3.1 向量间的距离的定义

3.2 向量距离的几何意义

3.3 向量距离的性质

1非负性 (Non-negativity) ~(\textbf{Non-negativity})~ (Non-negativity)

2对称性 (Symmetry) ~(\textbf{Symmetry})~ (Symmetry)

3三角不等式 (Triangle Inequality) ~(\textbf{Triangle Inequality})~ (Triangle Inequality)

4. 正交向量的定义

4.1 正交向量的定义

4.2 正交向量的几何意义

4.3 正交向量的性质

1零向量与所有向量正交

2标准正交向量形成正交基

5. 正交补空间

5.1 正交补空间的定义

5.2 正交补空间的几何意义

5.3 如何求正交补空间

1确定 W ~W~ W 的基向量

2列出正交条件

3求解方程组，得到 W⊥ ~W^\perp~ W⊥

5.4 正交补空间的性质

1x \mathbf{x}~x 在 W⊥ ~W^\perp~ W⊥ 中，当且仅当它与张成 W ~W~ W 的所有向量正交

2W⊥W^\perpW⊥ 是 Rn ~\mathbb{R^n}~ Rn 的一个子空间

1证明 (Row A)⊥=Nul A~(\text{Row } A)^\perp = \text{Nul } A (Row A)⊥=Nul A

2证明 (Col A)⊥=Nul AT~(\text{Col } A)^\perp = \text{Nul } A^T (Col A)⊥=Nul AT

6. 向量之间的角度与余弦公式

内积、长度和正交性

1. 内积的定义与性质

1.1 内积的定义

1.2 内积的性质

1交换律 (Commutativity) ~(\textbf{Commutativity})~ (Commutativity)

2分配律 (Distributivity) ~(\textbf{Distributivity})~ (Distributivity)

3数乘结合性 (Scalar Multiplication Associativity) ~(\textbf{Scalar Multiplication Associativity})~ (Scalar Multiplication Associativity)

4非负性 (Non-negativity) ~(\textbf{Non-negativity})~ (Non-negativity)

2. 向量的长度（范数）

2.1 向量的长度（范数）的定义

2.2 向量长度的几何意义

2.3 归一化（单位向量） {#normalization_(unit_vector)}

2.4 向量长度的性质

1非负性 (Non-negativity) ~(\textbf{Non-negativity})~ (Non-negativity)

2齐次性 (Homogeneity) ~(\textbf{Homogeneity})~ (Homogeneity)

3三角不等式 (Triangle Inequality) ~(\textbf{Triangle Inequality})~ (Triangle Inequality)

4平行四边形法则 (Parallelogram Law) ~(\textbf{Parallelogram Law})~ (Parallelogram Law)

3. 向量间的距离

3.1 向量间的距离的定义

3.2 向量距离的几何意义

3.3 向量距离的性质

1非负性 (Non-negativity) ~(\textbf{Non-negativity})~ (Non-negativity)

2对称性 (Symmetry) ~(\textbf{Symmetry})~ (Symmetry)

3三角不等式 (Triangle Inequality) ~(\textbf{Triangle Inequality})~ (Triangle Inequality)

4. 正交向量的定义

4.1 正交向量的定义

4.2 正交向量的几何意义

4.3 正交向量的性质

1零向量与所有向量正交

2标准正交向量形成正交基

5. 正交补空间

5.1 正交补空间的定义

5.2 正交补空间的几何意义

5.3 如何求正交补空间

1确定 W ~W~ W 的基向量

2列出正交条件

3求解方程组，得到 W⊥ ~W^\perp~ W⊥