将向量引入线性系统，将代数计算与几何解释结合起来。
1. 向量空间的定义和性质 第 1 , 2 ~1,2~ 1 , 2 R n ~\mathbb{R^n}~ R n 1.3 ~1.3~ 1.3 向量方程 一节中进行了简单介绍。这些代数性质不仅适用于 R n ~\mathbb{R^n}~ R n
定义
向量空间
向量空间 是一个非空集合 V ~V~ V 向量 ，在其上定义了 加法 和 数乘 （标量乘法）。这些运算需满足以下十条公理，对任意向量 u , v , w ∈ V \mathbf{u},\mathbf{v},\mathbf{w}\in V u , v , w ∈ V c , d ~c,d~ c , d
向量 u ~\mathbf{u}~ u v ~\mathbf{v}~ v u + v ~\mathbf{u}+\mathbf{v}~ u + v V ~V~ V
加法满足交换律： u + v = v + u ~\mathbf{u}+\mathbf{v}=\mathbf{v}+\mathbf{u}~ u + v = v + u
加法满足结合律： ( u + v ) + w = u + ( v + w ) ~(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w})~ ( u + v ) + w = u + ( v + w )
存在零向量 0 ∈ V ~\mathbf{0}\in V~ 0 ∈ V u + 0 = u ~\mathbf{u}+\mathbf{0}=\mathbf{u}~ u + 0 = u
对每个 u ∈ V ~\mathbf{u}\in V~ u ∈ V − u ~-\mathbf{u}~ − u u + ( − u ) = 0 ~\mathbf{u}+(\mathbf{-u})=\mathbf{0}~ u + ( − u ) = 0
向量 u ~\mathbf{u}~ u c ~c~ c c u ~c\mathbf{u}~ c u V ~V~ V
c ( u + v ) = c u + c v ~c(\mathbf{u}+\mathbf{v})=c\mathbf{u}+c\mathbf{v}~ c ( u + v ) = c u + c v ( c + d ) u = c u + d u ~(c+d)\mathbf{u}=c\mathbf{u}+d\mathbf{u}~ ( c + d ) u = c u + d u c ( d u ) = ( c d ) u ~c(d\mathbf{u})=(cd)\mathbf{u}~ c ( d u ) = ( c d ) u 1 u = u ~1\mathbf{u}=\mathbf{u}~ 1 u = u 我们已经具备了物理学中关于向量加法和数乘等性质的基础，但这些只是向量空间概念的具体实例。向量空间是一个更为抽象的数学结构，它不仅包括这些运算，还将其性质推广到多项式、函数、信号等更广泛的领域。深入理解向量空间，不仅有助于掌握这些实例的内在共性，还为研究线性代数中的更复杂概念，如线性变换、特征值与方程组解法等奠定基础。以下列举了向量空间在不同数学与物理系统中的典型应用。
2. 向量空间的实例 2.1 R n ~\mathbb{R^n}~ R n R n ~\mathbb{R^n}~ R n n ~n~ n ( C a r t e s i a n C o o r d i n a t e S y s t e m ) (\mathbf{Cartesian~Coordinate~System}) ( Cartesian Coordinate System ) n ~n~ n ( x 1 , x 2 , … , x n ) ~(x_1,x_2,\dots,x_n)~ ( x 1 , x 2 , … , x n ) 代数化的几何描述 ，这种方法可以帮助我们理解超出三维空间的复杂结构。例如在机器学习中， R n ~\mathbb{R^n}~ R n
w 1 x 1 + w 2 x 2 + ⋯ + w n x n + b = 0 w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b = 0 w 1 x 1 + w 2 x 2 + ⋯ + w n x n + b = 0 其中， w = ( w 1 , w 2 , … , w n ) \mathbf{w}=(w_1,w_2,\dots,w_n)~ w = ( w 1 , w 2 , … , w n ) b ~b~ b R 1000 ~\mathbb{R^{1000}}~ R 1000
2.2 矢量空间 矢量空间由箭头（矢量）组成，它们表示在三维空间中的方向和大小。该空间在物理建模中用于描述力、速度等向量，突出了向量在没有明确坐标系统的情况下仍然可以通过长度和方向来定义与运算。和 R n ~\mathbb{R^n}~ R n
2.3 双向无穷序列空间 双向无限序列空间指的是由无限长的数列构成的向量空间，其元素是一个无穷长的序列，如
{ y k } = ( … , y − 2 , y − 1 , y 0 , y 1 , y 2 , … ) \{y_k\} = (\dots, y_{-2}, y_{-1}, y_0, y_1, y_2, \dots) { y k } = ( … , y − 2 , y − 1 , y 0 , y 1 , y 2 , … ) 这种序列可以在正负两个方向上无限延展，因此被称为"双向无限序列"。每个位置 k ~k~ k y k ~y_k~ y k ( D S P , D i g i t a l S i g n a l P r o c e s s i n g ) (\mathbf{DSP,Digital~Signal~Processing}) ( DSP , Digital Signal Processing ) y k ~y_k~ y k k ~k~ k
双向无限序列空间是一个 无限维 的向量空间，广泛用于信号处理、时序分析和控制系统中。与 R n ~\mathbb{R^n}~ R n R n ~\mathbb{R^n}~ R n
2.4 函数的向量空间 函数的向量空间 ( v e c t o r s p a c e o f f u n c t i o n s ) ~(\mathbf{vector~space~of~functions})~ ( vector space of functions ) 加法运算 ，给定两个函数 f ( t ) ~f(t)~ f ( t ) g ( t ) ~g(t)~ g ( t ) ( f + g ) ( t ) ~(f+g)(t)~ ( f + g ) ( t ) t ~t~ t
( f + g ) ( t ) = f ( t ) + g ( t ) (f+g)(t)=f(t)+g(t) ( f + g ) ( t ) = f ( t ) + g ( t ) 例如， f ( t ) = t 2 ~f(t)=t^2~ f ( t ) = t 2 g ( t ) = s i n ( t ) ~g(t)=sin(t)~ g ( t ) = s in ( t ) ( f + g ) ( t ) = t 2 + s i n ( t ) (f+g)(t)=t^2+sin(t) ( f + g ) ( t ) = t 2 + s in ( t ) 数乘运算 ，给定一个函数 f ( t ) ~f(t)~ f ( t ) c ∈ R ~c \in \mathbb{R}~ c ∈ R ( c ⋅ f ) ( t ) ~(c\cdot f)(t)~ ( c ⋅ f ) ( t ) t ~t~ t
( c ⋅ f ) ( t ) = c ⋅ f ( t ) (c\cdot f)(t)=c\cdot f(t) ( c ⋅ f ) ( t ) = c ⋅ f ( t ) 例如，令 f ( t ) = t 2 ~f(t)=t^2~ f ( t ) = t 2 c = 3 ~c=3~ c = 3 ( 3 ⋅ f ) ( t ) = 3 ⋅ t 2 ~(3\cdot f)(t)=3\cdot t^2~ ( 3 ⋅ f ) ( t ) = 3 ⋅ t 2
2.5 多项式空间 多项式空间 ( p o l y n o m i a l s p a c e ) ~\mathbf{(polynomial~space)}~ ( polynomial space ) n ~n~ n P n ~\mathbb{P}_n P n P n \mathcal{P}_n~ P n
p ( t ) = a 0 + a 1 t + a 2 t 2 + ⋯ + a n t n p(t) = a_0 + a_1 t + a_2 t^2 + \cdots + a_n t^n p ( t ) = a 0 + a 1 t + a 2 t 2 + ⋯ + a n t n 其中，系数 a 0 , a 1 , … , a n ~a_0,a_1,\dots,a_n~ a 0 , a 1 , … , a n R ~\mathbb{R}~ R C ~\mathbb{C}~ C t ~t~ t 0 ~0~ 0 P n ~\mathbb{P}_n~ P n 加法运算 是将两个多项式的对应项系数相加。给定两个多项式：
p ( t ) = a 0 + a 1 t + a 2 t 2 + ⋯ + a n t n q ( t ) = b 0 + b 1 t + b 2 t 2 + ⋯ + b n t n \begin{aligned}
p(t) &= a_0 + a_1 t + a_2 t^2 + \cdots + a_n t^n \\[2ex]
q(t) &= b_0 + b_1 t + b_2 t^2 + \cdots + b_n t^n \end{aligned} p ( t ) q ( t ) = a 0 + a 1 t + a 2 t 2 + ⋯ + a n t n = b 0 + b 1 t + b 2 t 2 + ⋯ + b n t n 它们的和 ( p + q ) ( t ) ~(p+q)(t)~ ( p + q ) ( t )
( p + q ) ( t ) = ( a 0 + b 0 ) + ( a 1 + b 1 ) t + ( a 2 + b 2 ) t 2 + ⋯ + ( a n + b n ) t n (p + q)(t) = (a_0 + b_0) + (a_1 + b_1) t + (a_2 + b_2) t^2 + \cdots + (a_n + b_n) t^n ( p + q ) ( t ) = ( a 0 + b 0 ) + ( a 1 + b 1 ) t + ( a 2 + b 2 ) t 2 + ⋯ + ( a n + b n ) t n 加法的结果仍然是一个次数不超过 P n ~\mathbb{P}_n~ P n P n ~\mathbb{P}_n~ P n 数乘运算 是将一个标量（实数或复数）与一个多项式的每一项系数相乘，给定一个多项式
p ( t ) = a 0 + a 1 t + a 2 t 2 + ⋯ + a n t n p(t) = a_0 + a_1 t + a_2 t^2 + \cdots + a_n t^n p ( t ) = a 0 + a 1 t + a 2 t 2 + ⋯ + a n t n 和一个标量 c ∈ R ~c\in \mathbb{R}~ c ∈ R c ⋅ p ( t ) ~c \cdot p(t)~ c ⋅ p ( t )
( c ⋅ p ) ( t ) = ( c ⋅ a 0 ) + ( c ⋅ a 1 ) t + ( c ⋅ a 2 ) t 2 + ⋯ + ( c ⋅ a n ) t n (c \cdot p)(t) = (c \cdot a_0) + (c \cdot a_1) t + (c \cdot a_2) t^2 + \cdots + (c \cdot a_n) t^n ( c ⋅ p ) ( t ) = ( c ⋅ a 0 ) + ( c ⋅ a 1 ) t + ( c ⋅ a 2 ) t 2 + ⋯ + ( c ⋅ a n ) t n 数乘的结果仍然是一个次数不超过 n ~n~ n P n ~\mathbb{P}_n~ P n
3. 子空间的定义和性质 在很多实际问题中，为了简化分析和计算，我们不需要处理整个向量空间中的所有元素，而是只关注其中的 子集 或 子空间 。子空间是一个满足特定条件的向量集合，它继承了原向量空间中的所有结构与规则。有如下定义：
定义
子空间
一个向量空间 V ~V~ V H ~H~ H V ~V~ V
零向量在 H ~H~ H
对加法封闭： H ~H~ H u ~\mathbf{u}~ u v ~\mathbf{v}~ v u + v ~\mathbf{u}+\mathbf{v}~ u + v H ~H~ H
对数量乘法封闭： H ~H~ H u ~\mathbf{u}~ u c ~c~ c c u ~c\mathbf{u}~ c u H ~H~ H
为什么子空间必须包含零向量 ？从几何上来解释，在 R 2 ~\mathbb{R^2}~ R 2 R 3 ~\mathbb{R^3}~ R 3 5 ~5~ 5 R 3 ~\mathbb{R^3}~ R 3 R 3 ~\mathbb{R^3}~ R 3 R 2 ~\mathbb{R^2}~ R 2 R 2 ~\mathbb{R^2}~ R 2
4. 子空间的实例 在高维向量空间 R n ~\mathbb{R^n}~ R n 较小的维度 内得到解决。这些较小维度的部分通常是原向量空间的 子空间 。通过只关注问题相关的子空间，我们可以降低计算复杂度。接下来介绍一些子空间的实例。
4.1 零空间 零空间由仅包含零向量的集合构成，它是所有向量空间的基本元素，用符号 { 0 } ~\{ \mathbf{0} \}~ { 0 } T : V → W T: V \rightarrow W T : V → W Ker ( T ) \text{Ker}(T) Ker ( T ) Ker ( T ) = { v ∈ V ∣ T ( v ) = 0 } \text{Ker}(T) = \{ v \in V \mid T(v) = 0 \} Ker ( T ) = { v ∈ V ∣ T ( v ) = 0 } ( i n j e c t i v e ) ~(\mathbf{injective})~ ( injective )
4.2 实值函数的子空间 多项式是一类特殊的实值函数（我们一般限定在实数域 R ~\mathbb{R}~ R f ( x ) = sin ( x ) , g ( x ) = e x f(x) = \sin(x), \quad g(x) = e^x f ( x ) = sin ( x ) , g ( x ) = e x P ~\mathbb{P}~ P p ( x ) = x 2 + 3 x + 1 p(x) = x^2 + 3x + 1 p ( x ) = x 2 + 3 x + 1 q ( x ) = 5 x 3 − 2 x + 4 q(x) = 5x^3 - 2x + 4 q ( x ) = 5 x 3 − 2 x + 4 P ~\mathbb{P}~ P
4.3 多项式子空间 对于多项式空间 P n \mathbb{P}_n~ P n P 0 \mathbb{P}_0~ P 0 0 ~0~ 0 P ( x ) = 3 ~P(x)=3~ P ( x ) = 3 q ( x ) = − 2 ~q(x)=-2~ q ( x ) = − 2 P 1 \mathbb{P}_1~ P 1 1 ~1~ 1 P ( x ) = 2 x + 1 P(x)=2x+1~ P ( x ) = 2 x + 1 q ( x ) = − x + 3 ~q(x)=-x+3~ q ( x ) = − x + 3 P 1 ~\mathbb{P}_1~ P 1
4.4 有限支撑时间信号的子空间 有限支撑 信号集合 S f ~S_f~ S f { y k } \{y_k\} { y k } S f ~S_f~ S f S ~S~ S
4.5 R 2 ~\mathbb{R^2}~ R 2 R 3 ~\mathbb{R^3}~ R 3 一个空间要成为另一个空间的子空间，必须满足两个条件：首先，它需要是那个空间的一个子集；其次，它在向量加法和标量乘法下是封闭的，并包含零向量。从集合的角度看，二维向量空间 R 2 ~\mathbb{R^2}~ R 2 R 3 ~\mathbb{R^3}~ R 3 R 2 ~\mathbb{R^2}~ R 2 R 3 ~\mathbb{R^3}~ R 3 H ~H~ H R 2 ~\mathbb{R^2}~ R 2 H ~H~ H
H = { [ s t 0 ] : s 和 t 为实数 } H = \left\{ \begin{bmatrix} s \\ t \\ 0 \end{bmatrix} : s \text{ 和 } t \text{ 为实数} \right\} H = ⎩ ⎨ ⎧ s t 0 : s 和 t 为实数 ⎭ ⎬ ⎫ 这个集合的向量第三个分量始终为零，因此在形态上与 R 2 ~\mathbb{R^2}~ R 2 H ~H~ H R 3 ~\mathbb{R^3}~ R 3
5. 子空间的生成与张成 线性组合 是生成子空间 ( s p a n n i n g s u b s p a c e ) ~(\mathbf{spanning~subspace})~ ( spanning subspace ) { v 1 , … , v p } \{\mathbf{v}_1, \dots, \mathbf{v}_p\} { v 1 , … , v p } Span { v 1 , … , v p } \text{Span}\{\mathbf{v}_1, \dots, \mathbf{v}_p\} Span { v 1 , … , v p } v 1 , … , v p \mathbf{v}_1, \dots, \mathbf{v}_p v 1 , … , v p
接下来，我们来展示如何验证由一组向量生成的子空间是否满足向量空间的子空间条件。假设有向量 v 1 ~\mathbf{v}_1~ v 1 v 2 ~\mathbf{v}_2~ v 2 V ~V~ V Span { v 1 , v 2 } ~\text{Span} \{\mathbf{v}_1,\mathbf{v}_2\}~ Span { v 1 , v 2 } H ~H~ H v 1 ~\mathbf{v}_1~ v 1 v 2 ~\mathbf{v}_2~ v 2 H ~H~ H V ~V~ V H ~H~ H
由于 0 = 0 v 1 + 0 v 2 ~\mathbf{0}=0\mathbf{v}_1 + 0\mathbf{v}_2~ 0 = 0 v 1 + 0 v 2 H ~H~ H
对于 H ~H~ H u = s 1 v 1 + s 2 v 2 ~\mathbf{u}=s_1\mathbf{v}_1+s_2\mathbf{v}_2~ u = s 1 v 1 + s 2 v 2 w = t 1 v 1 + t 2 v 2 ~\mathbf{w}=t_1\mathbf{v}_1+t_2\mathbf{v}_2~ w = t 1 v 1 + t 2 v 2
u + w = ( s 1 + t 1 ) v 1 + ( s 2 + t 2 ) v 2 \mathbf{u+w}=(s_1+t_1)\mathbf{v}_1+(s_2+t_2)\mathbf{v}_2 u + w = ( s 1 + t 1 ) v 1 + ( s 2 + t 2 ) v 2 结果依然是 v 1 ~\mathbf{v}_1~ v 1 v 2 ~\mathbf{v}_2~ v 2 H ~H~ H
对于 H ~H~ H u = s 1 v 1 + s 2 v 2 ~\mathbf{u}=s_1\mathbf{v}_1+s_2\mathbf{v}_2~ u = s 1 v 1 + s 2 v 2 c ~c~ c
c u = ( c s 1 ) v 1 + ( c s 2 ) v 2 c\mathbf{u}=(cs_1)\mathbf{v}_1+(cs_2)\mathbf{v}_2 c u = ( c s 1 ) v 1 + ( c s 2 ) v 2 结果依然是 v 1 ~\mathbf{v}_1~ v 1 v 2 ~\mathbf{v}_2~ v 2 H ~H~ H
接下来，我们引入一个更为普遍的结论，用于描述生成子空间的条件：
定理 1
生成子空间定理
如果 v 1 , v 2 , … , v p ~\mathbf{v}_1,\mathbf{v}_2,\dots,\mathbf{v}_p~ v 1 , v 2 , … , v p V ~V~ V Span { v 1 , v 2 , … , v p } ~\text{Span} \{\mathbf{v}_1,\mathbf{v}_2,\dots,\mathbf{v}_p\}~ Span { v 1 , v 2 , … , v p } V ~V~ V
Span { v 1 , v 2 , … , v p } \text{Span} \{\mathbf{v}_1,\mathbf{v}_2,\dots,\mathbf{v}_p\}~ Span { v 1 , v 2 , … , v p } { v 1 , v 2 , … , v p } ~\{\mathbf{v}_1,\mathbf{v}_2,\dots, \mathbf{v}_p\}~ { v 1 , v 2 , … , v p } 生成 ( s p a n n e d ) ~(\mathbf{spanned})~ ( spanned ) 张成 ( g e n e r a t e d ) ~(\mathbf{generated})~ ( generated ) { v 1 , v 2 , … , v p } ~\{\mathbf{v}_1,\mathbf{v}_2,\dots, \mathbf{v}_p\}~ { v 1 , v 2 , … , v p } 生成集 ( s p a n n i n g s e t ) ~(\mathbf{spanning~set})~ ( spanning set )
6. 生成子空间的具体应用 定理 1 ~1~ 1 线性组合 来描述一个子空间中的所有向量。生成子空间目的是为了把问题简化（实际应用 ：在机器学习和数据分析中，数据通常位于高维空间，而有效信息位于一个更小的子空间中。证明该集合形成子空间有助于理解数据结构，并通过主成分分析（PCA）等方法进行降维和特征提取，从而实现数据压缩、可视化和降噪）。某些问题的解向量可能满足特定的线性约束条件，这些条件可能来自物理、经济或几何的实际需求。我们假设有这样一个四维向量集合 H ~H~ H
H = { ( a − 3 b , b − a , a , b ) : a , b ∈ R } H=\{(a-3b,b-a,a,b):a,b\in \mathbb{R} \} H = {( a − 3 b , b − a , a , b ) : a , b ∈ R } 我们要从 H ~H~ H 有限个 "关键向量，可以先对 H ~H~ H
[ a − 3 b b − a a b ] = a [ 1 − 1 1 0 ] + b [ − 3 1 0 1 ] \begin{bmatrix} a - 3b \\ b - a \\ a \\ b \end{bmatrix} = a \textcolor{#2196f3}{\begin{bmatrix} 1 \\ -1 \\ 1 \\ 0 \end{bmatrix}} + b \textcolor{#ff8200}{\begin{bmatrix} -3 \\ 1 \\ 0 \\ 1 \end{bmatrix}} a − 3 b b − a a b = a 1 − 1 1 0 + b − 3 1 0 1 这表示 H ~H~ H { v 1 , v 2 } ~\{\textcolor{#2196f3}{\mathbf{v}_1},\textcolor{#ff8200}{\mathbf{v}_2}\}~ { v 1 , v 2 } 1 ~1~ 1 H = Span { v 1 , v 2 } ~H=\text{Span} \{\mathbf{v}_1,\mathbf{v}_2\}~ H = Span { v 1 , v 2 } R 4 ~\mathbb{R^4}~ R 4
定理 1 ~1~ 1 y ~\mathbf{y}~ y Span { v 1 , v 2 , … , v p } \text{Span} \{\mathbf{v}_1,\mathbf{v}_2,\dots,\mathbf{v}_p\}~ Span { v 1 , v 2 , … , v p } c 1 , c 2 , … , c p ~c_1,c_2,\dots,c_p~ c 1 , c 2 , … , c p y = c 1 v 1 + c 2 v 2 + ⋯ + c p v p ~\mathbf{y}=c_1\mathbf{v}_1+c_2\mathbf{v}_2+\dots+c_p\mathbf{v}_p~ y = c 1 v 1 + c 2 v 2 + ⋯ + c p v p y ~\mathbf{y}~ y h ~h~ h y ~\mathbf{y}~ y y = c 1 v 1 + c 2 v 2 + ⋯ + c p v p ~\mathbf{y}=c_1\mathbf{v}_1+c_2\mathbf{v}_2+\dots+c_p\mathbf{v}_p~ y = c 1 v 1 + c 2 v 2 + ⋯ + c p v p
观察最后一行的结果 0 = h − 5 ~0=h-5~ 0 = h − 5 h = 5 ~h=5~ h = 5 y ~\mathbf{y}~ y v 1 , v 2 , v 3 ~\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3~ v 1 , v 2 , v 3
