Logo

内积空间

1. 内积空间的背景和定义

纯向量空间（如 Rn ~\mathbb{R^n}~或多项式空间 P2 ~\mathbb{P}_2~）仅定义了加法和标量乘法，没有内在的“长度”或“角度”概念。例如，在 R2 ~\mathbb{R^2}~中，两个向量 u=[12]T ~\mathbf{u} = \begin{bmatrix}1 & 2\end{bmatrix}^T~和 v=[34]T ~\mathbf{v} = \begin{bmatrix}3 & 4\end{bmatrix}^T~可以相加或缩放，但无法直接比较它们的大小或夹角，也无法判断它们是否垂直。这种局限性无法满足物理、工程、数据分析等应用的需求。内积空间(inner product space)(\textbf{inner product space})通过定义一个内积函数 ⟨u,v⟩ ~\langle \mathbf{u}, \mathbf{v} \rangle~，为向量空间赋予了几何结构。内积空间的定义基于一组公理：

内积公理通过其对称性、线性性和正定性特性，为向量空间提供了定义长度∥u∥=⟨u,u⟩\|\mathbf{u}\| = \sqrt{\langle \mathbf{u},\mathbf{u} \rangle}、距离 ∥u−v∥ ~\|\mathbf{u} - \mathbf{v}\|~和正交性 ⟨u,v⟩=0 ~\langle \mathbf{u},\mathbf{v} \rangle = 0~的理论基础，从而赋予其几何结构。

2. 内积定义的验证与示例

接下来，我们通过具体示例验证这些公理，确保内积空间的定义在不同空间中具有普适性和有效性，从而解决几何结构缺失的问题。

2.1  R2 ~\mathbb{R^2}~上加权内积的验证

对于 R2 ~\mathbb{R^2}~中的向量u=[u1u2]T, v=[v1v2]T\mathbf{u} = \begin{bmatrix} u_1 & u_2 \end{bmatrix}^T,~\mathbf{v} = \begin{bmatrix} v_1 & v_2 \end{bmatrix}^T。定义：
⟨u,v⟩=4u1v1+5u2v2(1)\langle \mathbf{u}, \mathbf{v}\rangle = 4u_1v_1 + 5u_2v_2\tag{1}
验证 (1) ~(1)~满足内积空间的四个公理：

满足 ⟨u,v⟩=4u1v1+5u2v2=4v1u1+5v2u2=⟨v,u⟩~\langle \mathbf{u}, \mathbf{v} \rangle = 4u_1 v_1 + 5u_2 v_2 = 4v_1 u_1 + 5v_2 u_2 = \langle \mathbf{v}, \mathbf{u} \rangle。

满足：
⟨u+v,w⟩=4(u1+v1)w1+5(u2+v2)w2=4u1w1+5u2w2+4v1w1+5v2w2=⟨u,w⟩+⟨v,w⟩\begin{aligned} \langle \mathbf{u} + \mathbf{v}, \mathbf{w} \rangle &= 4(u_1 + v_1)w_1 + 5(u_2 + v_2)w_2 \\[1ex] &= 4u_1 w_1 + 5u_2 w_2 + 4v_1 w_1 + 5v_2 w_2 \\[1ex] &= \langle \mathbf{u}, \mathbf{w} \rangle + \langle \mathbf{v}, \mathbf{w} \rangle \end{aligned}

满足：⟨cu,v⟩=4(cu1)v1+5(cu2)v2=c(4u1v1+5u2v2)=c⟨u,v⟩\langle c\mathbf{u}, \mathbf{v} \rangle = 4(cu_1)v_1 + 5(cu_2)v_2 = c(4u_1v_1 + 5u_2v_2) = c\langle \mathbf{u}, \mathbf{v} \rangle。

⟨u,u⟩=4u12+5u22≥0\langle \mathbf{u}, \mathbf{u} \rangle = 4u_1^2 + 5u_2^2 \geq 0，且仅当 u1=u2=0 ~u_1 = u_2 = 0~（即u=0\mathbf{u} = \mathbf{0}）时等于 0 ~0~。
这个示例说明 Rn ~\mathbb{R^n}~中的标准内积 (standard inner product)  ⟨u,v⟩=u1v1+u2v2 ~(\textbf{standard inner product}) ~~ \langle \mathbf{u}, \mathbf{v}\rangle = u_1v_1 + u_2v_2~并非唯一。此例扩展了这一概念，引入了加权内积 (weighted inner product)  ⟨u,v⟩=4u1v1+5u2v2 ~(\textbf{weighted inner product})~~ \langle \mathbf{u}, \mathbf{v}\rangle = 4u_1v_1 + 5u_2v_2~，并通过验证公理表明：即使权重不同， R2 ~\mathbb{R^2}~仍可成为内积空间。这为 R2 ~\mathbb{R^2}~赋予了新的几何结构（如椭圆单位球），并自然应用于加权最小二乘问题中以处理不同分量的重要度差异。

2.2  P2 ~\mathbb{P}_2~上基于离散点采样的内积定义

对于 p,q∈Pn ~p,q \in \mathbb{P}_n~，定义
 ⟨p,q⟩=p(t0)q(t0)+p(t1)q(t1)+⋯+p(tn)q(tn) (2)~\langle p, q \rangle = p(t_0) q(t_0) + p(t_1) q(t_1) + \cdots + p(t_n) q(t_n)~\tag{2}
其中 t0,⋯tn ~t_0, \cdots t_n~是 n+1 ~n+1~个不同实数。接下来验证其满足内积空间的四个公理：

对于 p,q∈Pn ~p,q\in \mathbb{P}_n~：
⟨p,q⟩=p(t0)q(t0)+p(t1)q(t1)+⋯+p(tn)q(tn)⟨q,p⟩=q(t0)p(t0)+q(t1)p(t1)+⋯+q(tn)p(tn)\begin{align*}\langle p, q \rangle &= p(t_0) q(t_0) + p(t_1) q(t_1) + \cdots + p(t_n) q(t_n)\\[1ex] \langle q, p \rangle &= q(t_0) p(t_0) + q(t_1) p(t_1) + \cdots + q(t_n) p(t_n)\end{align*}
显然 ⟨p,q⟩=⟨q,p⟩ ~\langle p, q \rangle = \langle q, p \rangle~。

设 p,q,r∈Pn ~p,q,r \in \mathbb{P}_n~，验证：
⟨p+q,r⟩=(p(t0)+q(t0))r(t0)+(p(t1)+q(t1))r(t1)+⋯+(p(tn)+q(tn))r(tn)=[p(t0)r(t0)+q(t0)r(t0)]+[p(t1)r(t1)+q(t1)r(t1)]+⋯+[p(tn)r(tn)+q(tn)r(tn)]=[p(t0)r(t0)+⋯+p(tn)r(tn)]+[q(t0)r(t0)+⋯+q(tn)r(tn)]=⟨p,r⟩+⟨q,r⟩\begin{align*} \langle p + q, r \rangle &= (p(t_0) + q(t_0))r(t_0) + (p(t_1) + q(t_1))r(t_1) + \cdots + (p(t_n) + q(t_n))r(t_n)\\[1.5ex] &=[p(t_0)r(t_0) + q(t_0)r(t_0)] + [p(t_1)r(t_1) + q(t_1)r(t_1)] + \cdots + [p(t_n)r(t_n) + q(t_n)r(t_n)]\\[1.5ex] &= [p(t_0)r(t_0) + \cdots + p(t_n)r(t_n)] + [q(t_0)r(t_0) + \cdots + q(t_n)r(t_n)] \\[1.5ex] &= \langle p, r \rangle + \langle q, r \rangle \end{align*}
加法线性成立。

设 c ~c~是一个标量，验证：
⟨cp,q⟩=(cp(t0))q(t0)+(cp(t1))q(t1)+⋯+(cp(tn))q(tn)=cp(t0)q(t0)+cp(t1)q(t1)+⋯+cp(tn)q(tn)=c[p(t0)q(t0)+⋯+p(tn)q(tn)]=c⟨p,q⟩\begin{align*}\langle c p, q \rangle &= (c p(t_0)) q(t_0) + (c p(t_1)) q(t_1) + \cdots + (c p(t_n)) q(t_n)\\[1.5ex] &= c p(t_0) q(t_0) + c p(t_1) q(t_1) + \cdots + c p(t_n) q(t_n) \\[1.5ex] &= c [p(t_0) q(t_0) + \cdots + p(t_n) q(t_n)] \\[1.5ex] &= c \langle p, q \rangle \end{align*}

  • 验证非负性：⟨p,p⟩=[p(t0)]2+[p(t1)]2+⋯+[p(tn)]2≥0\langle p, p \rangle = [p(t_0)]^2 + [p(t_1)]^2 + \cdots + [p(t_n)]^2 \geq 0
  • 验证正定性：
    如果 p=0 ~p = \mathbf{0}~（零多项式，即恒等于 0 ~0~的多项式），则对于所有 ti ~t_i~， p(ti)=0 ~p(t_i) = 0~，于是：
    ⟨0,0⟩=02+02+⋯+02=0\langle 0, 0 \rangle = 0^2 + 0^2 + \cdots + 0^2 = 0
    反过来，如果 ⟨p,q⟩=0 ~\langle p, q \rangle = 0~：
    [p(t0)]2+[p(t1)]2+⋯+[p(tn)]2=0[p(t_0)]^2 + [p(t_1)]^2 + \cdots + [p(t_n)]^2 = 0
    由于每一项[p(ti)]2≥0[p(t_i)]^2 \geq 0，所以上式中每一项都为 0 ~0~，即：
    p(t0)=p(t1)=⋯=p(tn)=0p(t_0) = p(t_1) = \cdots = p(t_n) = 0
    这表明 p ~p~在 n+1 ~n+1~个不同点 t0,t1,⋯ ,tn ~t_0,t_1,\cdots,t_n~上值为 0 ~0~。
(2) (2)~中对内积的定义将 Pn ~\mathbb{P}_n~中的多项式映射到 Rn+1 ~\mathbb{R^{n+1}}~中的向量。对于 p∈Pn ~p \in \mathbb{P}_n~：
p↦[p(t0)p(t1)⋯p(tn)]T∈Rn+1(3)p \mapsto \begin{bmatrix}p(t_0) & p(t_1) & \cdots & p(t_n)\end{bmatrix}^T \in \mathbb{R}^{n+1}\tag{3}
通过此定义赋予了多项式空间几何结构。这种映射使多项式之间的内积 ⟨p,q⟩ ~\langle p,q \rangle~等价于 Rn+1 ~\mathbb{R^{n+1}}~中的标准点积，从而引入了长度（范数∥p∥=⟨p,p⟩\|p\| = \sqrt{\langle p,p \rangle}）、距离（∥p−q∥\|p - q\|）和正交性（⟨p,q⟩=0\langle p, q \rangle = 0）等概念，这为 Pn ~\mathbb{P}_n~提供了类似欧几里得空间的几何框架。

2.3  P2 ~\mathbb{P}_2~上具体内积的计算应用

设V∈P2V \in \mathbb{P}_2为 (2) ~(2)~中的内积，其中 t0=0, t1=1/2, t2=1 ~t_0 = 0,~ t_1 = 1/2,~t_2 = 1~。设 p(t)=12t2 ~p(t) = 12t^2~和 q(t)=2t−1 ~q(t) = 2t - 1~。分别进行如下计算：

⟨p,q⟩=p(0)q(0)+p(12)q(12)+p(1)q(1)=0⋅(−1)+3⋅0+12⋅1=12\begin{align*}\langle p, q \rangle &= p(0)q(0) + p\left(\frac{1}{2}\right)q\left(\frac{1}{2}\right) + p(1)q(1) \\[3ex] &= 0 \cdot (-1) + 3 \cdot 0 + 12 \cdot 1 \\[2ex] &= 12 \end{align*}

⟨q,q⟩=[q(0)]2+[q(12)]2+[q(1)]2=(−1)2+02+12=2\begin{align*}\langle q, q \rangle &= [q(0)]^2 + \left[q\left(\frac{1}{2}\right)\right]^2 + [q(1)]^2 \\[3ex] &= (-1)^2 + 0^2 + 1^2 \\[2ex] &= 2 \end{align*}

此例验证 (2) ~(2)~中内积几何性质的可操作性。计算结果 ⟨p,q⟩=12, ⟨q,q⟩=2 ~\langle p,q \rangle = 12,~\langle q,q \rangle = 2~直接反映了长度和正交性，展示了内积如何在函数空间中实现几何结构。

3. 长度、距离与正交性

基于内积空间的定义，我们可以将向量间的长度（范数）、距离和正交性这些几何概念扩展到更加广泛的向量空间，如多项式空间 Pn ~\mathbb{P}_n~和任意连续函数空间 C[a,b] ~C[a,b]~。这些几何概念通过内积提供了这些空间的直观几何结构，使 Rn ~\mathbb{R^n}~空间中已有的定理和方法——如Gram-Schmidt\text{Gram-Schmidt}正交化过程、最佳逼近问题和正交投影——能够自然推广到更广泛的向量空间。

3.1 长度的定义

一个向量 v ~\mathbf{v}~的长度定义为：
∥v∥=⟨v,v⟩\| \mathbf{v} \| = \sqrt{\langle \mathbf{v},\mathbf{v} \rangle}
这一定义基于内积的第四个公理（⟨v,v⟩≥0\langle \mathbf{v} , \mathbf{v} \rangle \geq 0），通过取平方根得到一个非负标量∥v∥\|\mathbf{v}\|。这与 Rn ~\mathbb{R^n}~中的标准范数（∥v∥=v12+⋯+vn2\|\mathbf{v}\| = \sqrt{v_1^2 + \cdots + v_n^2}）类似，但适用于任意内积空间。例如，在多项式空间 P2 ~\mathbb{P}_2~中，多项式 p(t)=12t2 ~p(t) = 12t^2~是一个函数，其长度通过内积 (2) ~(2)~计算（这里取 t0=0, t1=1/2, t2=1 ~t_0 = 0, ~ t_1 = 1/2, ~ t_2 = 1~作为评估点）：
⟨p,p⟩=[p(0)]2+[p(12)]2+[p(1)]2=02+32+122=153\langle p, p \rangle = [p(0)]^2 + \left[p\left(\frac{1}{2}\right)\right]^2 + [p(1)]^2 = 0^2 + 3^2 + 12^2 = 153
因此，长度 ∥p∥=153≈12.37 ~\|p\| = \sqrt{153} \approx 12.37~。这与 Rn ~\mathbb{R^n}~中的分量平方和不同，因为多项式 p(t) ~p(t)~的“平方和”来源于其在离散点上的函数值，而非固定维数的向量分量。

3.2 距离的定义

一个长度为 1 ~1~的向量称为单位向量。两个向量 u ~\mathbf{u}~和 v ~\mathbf{v}~之间的距离定义为它们差向量的长度，即：
∥u−v∥\|\mathbf{u} - \mathbf{v}\|
这个定义通过内积自然导出，因为距离是基于范数∥w∥=⟨w,w\|\mathbf{w}\| = \sqrt{\langle \mathbf{w}, \mathbf{w}}，其中w=u−v\mathbf{w} = \mathbf{u} - \mathbf{v}。它反映了向量空间中 u ~\mathbf{u}~和 v ~\mathbf{v}~之间的“直线间隔”，类似于 Rn ~\mathbb{R^n}~中欧几里得距离 (u1−v1)2+⋯+(un−vn)2 ~\sqrt{(u_1 - v_1)^2 + \cdots + (u_n - v_n)^2}~。同样，这一定义也更具泛化性，适用于任意内积空间。

3.2 正交性的定义

两个向量 u ~\mathbf{u}~和 v ~\mathbf{v}~如果满足内积为零，即：
⟨u,v⟩=0\langle \mathbf{u}, \mathbf{v} \rangle = 0
则称 u ~\mathbf{u}~和 v ~\mathbf{v}~正交。这一定义通过内积自然导出，类似于 Rn ~\mathbb{R^n}~中点积为零的向量对（垂直向量），但更具泛化性，适用于任意内积空间，如多项式空间 Pn ~\mathbb{P}_n~或任意连续函数空间 C[a,b] ~C[a,b]~。正交性反映了向量之间的“独立性”或“无投影”关系，意味着 u ~\mathbf{u}~和 v ~\mathbf{v}~在内积空间中没有共同的“方向分量”，为构造正交基（如 Gram-Schmidt ~\text{Gram-Schmidt}~正交化）和求解最佳逼近问题提供了关键的几何基础。

4.  Gram-Schmidt ~\text{Gram-Schmidt}~正交化

Gram-Schmidt\text{Gram-Schmidt}正交化不仅限于 Rn ~\mathbb{R^n}~，还可以扩展到任意内积空间。在任意内积空间中，Gram-Schmidt\text{Gram-Schmidt}正交化的步骤和在Rn\mathbb{R}^n中是一致的。为了更具体地展示 Gram-Schmidt ~\text{Gram-Schmidt}~正交化在非 Rn ~\mathbb{R^n}~空间中的应用，考虑多项式空间 P4 ~\mathbb{P}_4~（所有次数不超过4的多项式），其内积定义为在 2,−1,0,1,2 ~2,-1,0,1,2~五个点的多项式值之和：
⟨p,q⟩=p(−2)q(−2)+p(−1)q(−1)+p(0)q(0)+p(1)q(1)+p(2)q(2)(4)\langle p, q \rangle = p(-2)q(-2) + p(-1)q(-1) + p(0)q(0) + p(1)q(1) + p(2)q(2)\tag{4}
我们将 P2 ~\mathbb{P}_2~（二次多项式空间）视为 P4 ~\mathbb{P}_4~的子空间，并从 P2 ~\mathbb{P}_2~的标准基 E={1, t2, t2} ~\mathcal{E} = \{1,~t^2,~t^2\}~，应用Gram-Schmidt\text{Gram-Schmidt}正交化构造一组正交基。由于 P4 ~\mathbb{P}_4~中的多项式由其在五个点 −2,−1,0,1,2 ~-2,-1,0,1,2~的值唯一确定，我们可以将多项式映射到 R5 ~\mathbb{R^5}~中的向量。具体来说，P2 \mathbb{P}_2~的标准基 E={p0(t)=1,p1(t)=t,p2(t)=t2} ~\mathcal{E} = \{p_0(t) = 1,p_1(t) = t, p_2(t) = t^2\}~可以分别映射为以下向量：
p0(t)↦[11111],p1(t)↦[−2−1012],p2↦[41014]p_0(t) \mapsto \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \quad p_1(t) \mapsto \begin{bmatrix} -2 \\ -1 \\ 0 \\ 1 \\ 2\end{bmatrix}, \quad p_2 \mapsto \begin{bmatrix} 4 \\ 1 \\ 0 \\ 1 \\ 4\end{bmatrix}
设这三个向量分别为 p0, p1, p2 ~\mathbf{p}_0, ~ \mathbf{p}_1, ~ \mathbf{p}_2~， 下面是正交化过程：

直接选择第一个向量：v0=p0=[11111]T\mathbf{v}_0 = \mathbf{p}_0 = \begin{bmatrix} 1 & 1 & 1 & 1 & 1\end{bmatrix}^T。

注意到
⟨p0(t),p1(t)⟩=⟨1,t⟩=(1)(−2)+(1)(−1)+(1)(0)+(1)(1)+(1)(2)=0\langle p_0(t), p_1(t) \rangle = \langle 1, t \rangle = (1)(-2) + (1)(-1) + (1)(0) + (1)(1) + (1)(2) = 0
因为内积为 0 ~0~，所以 p0(t) ~p_0(t)~与 p1(t) ~p_1(t)~正交，所以取v1=p1=[−2−1012]\mathbf{v}_1 = \mathbf{p}_1 = \begin{bmatrix} -2 & -1 & 0 & 1 & 2\end{bmatrix}。

我们需要将 p2(t)=t2 ~p_2(t) = t^2~正交化，使其与 p0(t) ~p_0(t)~和 p1(t) ~p_1(t)~正交。使用 Gram-Schmidt~\text{Gram-Schmidt}公式：
p2(t)^=t2−ProjSpan{p0,p1}(t2)\hat{p_2(t)} = t^2 - \text{Proj}_{\text{Span}\{p_0, p_1\}}(t^2)
投影公式为：
ProjSpan{p0,p1}(t2)=⟨t2,p0⟩⟨p0,p0⟩p0+⟨t2,p1⟩⟨p1,p1⟩p1=⟨t2,1⟩⟨1,1⟩1+⟨t2,t⟩⟨t,t⟩t\begin{align*} \text{Proj}_{\text{Span}\{p_0, p_1\}}(t^2) &= \frac{\langle t^2, p_0 \rangle}{\langle p_0, p_0 \rangle} p_0 + \frac{\langle t^2, p_1 \rangle}{\langle p_1, p_1 \rangle} p_1 \\[3ex] &= \frac{\langle t^2, 1 \rangle}{\langle 1, 1 \rangle} 1 + \frac{\langle t^2, t \rangle}{\langle t, t \rangle} t \end{align*}
根据 (4) ~(4)~计算可得：
ProjSpan{p0,p1}(t2)=2\text{Proj}_{\text{Span}\{p_0, p_1\}}(t^2) = 2
那么 p2(t)^=t2−2~\hat{p_2(t)} = t^2 - 2，对应向量为：
v2=p2−2p0=[2−1−2−12]\mathbf{v}_2 = \mathbf{p}_2 - 2 \mathbf{p}_0 = \begin{bmatrix}2 \\ -1 \\ -2 \\ -1 \\2 \end{bmatrix}
计算得到 V ~V~的子空间 P2 ~\mathbb{P}_2~的一个正交基是：
v0=[11111],v1=[−2−1012],v2=[2−1−2−12]\mathbf{v}_0 = \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \quad \mathbf{v}_1 = \begin{bmatrix} -2 \\ -1 \\ 0 \\ 1 \\ 2 \end{bmatrix}, \quad \mathbf{v}_2 = \begin{bmatrix} 2 \\ -1 \\ -2 \\ -1 \\ 2 \end{bmatrix}

5. 内积空间中的最佳逼近

最佳逼近定理同样可以推广到更广泛的向量空间。例如，在函数空间内用低次多项式拟合高次多项式。假设向量空间 V=P4 ~V = \mathbb{P}_4~，子空间 W=P2 ~W = \mathbb{P}_2~。在离散点 t=−2,−1,0,1,2 ~t=-2,-1,0,1,2~处，基于之前计算得到的 P2 ~\mathbb{P}_2~中的正交基 v0,v1,v2 ~\mathbf{v}_0,\mathbf{v}_1, \mathbf{v}_2~，求 P4 ~\mathbb{P}_4~中多项式 p(t)=5−12t4 ~p(t) = 5 - \frac{1}{2}t^4~在 P2 ~\mathbb{P}_2~上的最佳逼近（正交投影）。计算过程如下：

  1. 条件： 已知 P2 ~\mathbb{P}_2~的正交基函数为： p0(t)=1, p1(t)=t, p2(t)=t2−2 ~p_0(t) = 1,~ p_1(t) = t,~ p_2(t) = t^2 - 2~。多项式p(t)=5−12t4p(t) = 5 - \frac{1}{2} t^4在点 −2, −1, 0, 1, 2 ~-2, ~ -1, ~ 0, ~ 1, ~ 2~处的值分别为 −3, 9/2, 5, 9/2, −3 ~-3, ~ 9/2, ~ 5, ~ 9/2, ~ -3~。多项式内积定义依然采用 (2) ~(2)~式。
  2. 根据投影公式：
    p^(t)=projP2(p)=⟨p,p0⟩⟨p0,p0⟩p0(t)+⟨p,p1⟩⟨p1,p1⟩p1(t)+⟨p,p2⟩⟨p2,p2⟩p2(t)\hat{p}(t) = \text{proj}_{P_2}(p) = \frac{\langle p, p_0 \rangle}{\langle p_0, p_0 \rangle} p_0(t) + \frac{\langle p, p_1 \rangle}{\langle p_1, p_1 \rangle} p_1(t) + \frac{\langle p, p_2 \rangle}{\langle p_2, p_2 \rangle} p_2(t)
    计算 p ~p~与 p0, p1, p2 ~p_0,~p_1,~p_2~的内积，把 5 ~5~个离散点代入可得：
    ⟨p,p0⟩=⟨5−12t4,1⟩=8⟨p,p1⟩=⟨5−12t4,t⟩=0⟨p,p2⟩=⟨5−12t4,t2−2⟩=−31\begin{align*} \langle p, p_0 \rangle &= \langle 5-\frac{1}{2}t^4, 1 \rangle = 8\\[2ex] \langle p, p_1 \rangle &= \langle 5-\frac{1}{2}t^4, t \rangle = 0\\[2ex] \langle p, p_2 \rangle &= \langle 5-\frac{1}{2}t^4, t^2 - 2 \rangle = -31 \end{align*}
    基向量函数 p0, p1, p2 ~p_0,~p_1,~p_2~之间的内积：
    ⟨p0,p0⟩=⟨1,1⟩=5⟨p1,p1⟩=⟨t,t⟩=14⟨p2,p2⟩=⟨t2−2,t2−2⟩=14\begin{align*} \langle p_0, p_0 \rangle &= \langle 1, 1 \rangle = 5\\[2ex] \langle p_1, p_1 \rangle &= \langle t, t \rangle = 14\\[2ex] \langle p_2, p_2 \rangle &= \langle t^2 - 2, t^2 - 2 \rangle = 14 \end{align*}
  3. 求最佳逼近 p(t)^ ~\hat{p(t)}~，代入已知的内积值：
    p^(t)=85p0(t)+−3114p2(t)\hat{p}(t) = \frac{8}{5} p_0(t) + \frac{-31}{14} p_2(t)
    代入 p0(t)=1, p1(t)=t ~p_0(t) = 1, ~p_1(t) = t~得最佳逼近多项式为：
    p(t)=85−3114(t2−2)p(t) = \frac{8}{5} - \frac{31}{14} (t^2 - 2)

下面这张图展示了 P4 ~\mathbb{P}_4~中多项式在 P2 ~\mathbb{P}_2~上的最佳逼近曲线：

开通会员解锁全部动画

6. 柯西-施瓦茨与三角不等式

开通会员解锁全部动画

我们可以利用 6.1 ~6.1~节中介绍过的毕达哥拉斯定理（也就是勾股定理）推导出内积空间中两个重要的不等式：柯西-施瓦茨不等式（Cauchy-Schwarz Inequality\textbf{Cauchy-Schwarz Inequality}）和三角不等式（Triangle Inequality\textbf{Triangle Inequality}）。通过这两个不等式，我们能够量化向量间的相似性、距离以及加法的几何性质，这对于分析内积空间中的投影、最优逼近和优化问题至关重要。

  1. 特殊情况：u=0\mathbf{u} = \mathbf{0}

    • 如果 u=0 ~\mathbf{u} = \mathbf{0}~，那么根据定义，内积 ⟨u,v⟩=0 ~\langle \mathbf{u}, \mathbf{v} \rangle = 0~，而且 ∥u∥=0 ~\|\mathbf{u}\| = 0~。

    • 因此，两个不等式的两边都是零，所以不等式自然成立：
  2. 一般情况u≠0\mathbf{u} \neq 0：

    • 假设 u≠0 ~\mathbf{u} \neq 0~，并令 W ~W~为由 u ~\mathbf{u}~张成的子空间。这里 W=Span{u} ~W = \text{Span}\{\mathbf{u}\}~。

    • 根据内积空间的基本性质，对于任意标量 c ~c~，有 ∥cu∥=∣c∣∥u∥ ~\|c\mathbf{u}\| = |c|\|\mathbf{u}\|~，这意味着标量倍数对范数有乘法影响。

  3. 投影公式：
    • 我们通过计算 v ~\mathbf{v}~在 W ~W~上的正交投影来求解：
      ∥projWv∥=∥⟨v,u⟩⟨u,u⟩u∥=∣⟨v,u⟩∣⟨u,u⟩∥u∥\| \text{proj}_W \mathbf{v} \| = \left\| \frac{\langle \mathbf{v}, \mathbf{u} \rangle}{\langle \mathbf{u}, \mathbf{u} \rangle} \mathbf{u} \right\| = \frac{|\langle \mathbf{v}, \mathbf{u} \rangle|}{\langle \mathbf{u}, \mathbf{u} \rangle} \| \mathbf{u} \|
    • 简化后得到：
      ∥projWv∥=∣⟨v,u⟩∣∥u∥\| \text{proj}_W \mathbf{v} \| = \frac{|\langle \mathbf{v}, \mathbf{u} \rangle|}{\| \mathbf{u} \|}
  4. 利用不等式推导：
    • 由于投影的范数不大于原向量 v ~\mathbf{v}~的范数（即Projwv≤∥v∥\text{Proj}_w\mathbf{v} \leq \|\mathbf{v}\|），所以可以得到：
      ∣⟨v,u⟩∣∥u∥≤∥v∥\frac{|\langle \mathbf{v}, \mathbf{u} \rangle|}{\| \mathbf{u} \|} \leq \| \mathbf{v} \|
    • 整理后可得柯西-施瓦茨不等式：
      ∣⟨u,v⟩∣≤∥u∥∥v∥| \langle \mathbf{u}, \mathbf{v} \rangle | \leq \| \mathbf{u} \| \| \mathbf{v} \|

利用柯西-施瓦茨不等式可以进一步推导出三角不等式：

  1. 展开∥u+v∥2\|\mathbf{u} + \mathbf{v}\|^2：
    • 我们从定义出发，首先将∥u+v∥2\|\mathbf{u} + \mathbf{v}\|^2展开为内积的形式：
      ∥u+v∥2=⟨u+v,u+v⟩=⟨u,u⟩+2⟨u,v⟩+⟨v,v⟩\| \mathbf{u} + \mathbf{v} \|^2 = \langle \mathbf{u} + \mathbf{v}, \mathbf{u} + \mathbf{v} \rangle = \langle \mathbf{u}, \mathbf{u} \rangle + 2 \langle \mathbf{u}, \mathbf{v} \rangle + \langle \mathbf{v}, \mathbf{v} \rangle
      其中，⟨u,u⟩=∥u∥2和⟨v,v⟩=∥v∥2\langle \mathbf{u}, \mathbf{u} \rangle = \| \mathbf{u} \|^2 \quad \text{和} \quad \langle \mathbf{v}, \mathbf{v} \rangle = \| \mathbf{v} \|^2，因此：
      ∥u+v∥2=∥u∥2+2⟨u,v⟩+∥v∥2\| \mathbf{u} + \mathbf{v} \|^2 = \| \mathbf{u} \|^2 + 2 \langle \mathbf{u}, \mathbf{v} \rangle + \| \mathbf{v} \|^2
  2. 应用柯西-施瓦茨不等式
    • 根据柯西-施瓦茨不等式，我们有：
      ∣⟨u,v⟩∣≤∥u∥∥v∥| \langle \mathbf{u}, \mathbf{v} \rangle | \leq \| \mathbf{u} \| \| \mathbf{v} \|
      因此：
      2⟨u,v⟩≤2∥u∥∥v∥2 \langle \mathbf{u}, \mathbf{v} \rangle \leq 2 \| \mathbf{u} \| \| \mathbf{v} \|
      代入上式得到：
      ∥u+v∥2≤∥u∥2+2∥u∥∥v∥+∥v∥2\| \mathbf{u} + \mathbf{v} \|^2 \leq \| \mathbf{u} \|^2 + 2 \| \mathbf{u} \| \| \mathbf{v} \| + \| \mathbf{v} \|^2
  3. 重写结果：
    • 上式可以重写为：
      ∥u+v∥2≤(∥u∥+∥v∥)2\| \mathbf{u} + \mathbf{v} \|^2 \leq \left( \| \mathbf{u} \| + \| \mathbf{v} \| \right)^2
  4. 取平方根：
    • 对两边取平方根，得到：
      ∥u+v∥≤∥u∥+∥v∥\| \mathbf{u} + \mathbf{v} \| \leq \| \mathbf{u} \| + \| \mathbf{v} \|

7. 连续函数空间的内积

内积空间的概念不仅适用于有限维空间（如多项式空间），也同样适用于无限维的连续函数空间 C[a,b] ~C[a,b]~。在 C[a,b] ~C[a,b]~中，我们可以定义内积，使得函数的长度、距离和正交性等概念依然成立，从而能够运用正交化、最佳逼近等方法来解决实际问题。

7.1 从有限维 Pn ~\mathbb{P}_n~到无限维 C[a,b] ~C[a,b]~

对于连续函数空间 C[a,b] ~C[a,b]~，我们可以基于有限维的多项式空间 Pn ~\mathbb{P}_n~进行推导。设 Pn ~\mathbb{P}_n~是所有次数不超过 n ~n~的多项式构成的向量空间，维数为 n+1 ~n+1~。在 Pn ~\mathbb{P}_n~中，我们可以选择 n+1 ~n+1~个不重复的点 t0,t1,⋯ ,tn ~t_0,t_1,\cdots,t_n~并定义内积如下：
⟨p,q⟩=∑j=0np(tj)q(tj)\langle p, q \rangle = \sum_{j=0}^{n} p(t_j) q(t_j)
对于连续函数空间 C[a,b] ~C[a,b]~来说，这种离散求和方式存在两个主要问题。首先，上式内积求和依赖点的选取，它不能全面反映函数的整体特性（函数在整个区间上的分布、形状或趋势）。其次，当 n ~n~变大时，求和值可能变得过大或不稳定（如随 n ~n~的增大而发散）。

开通会员解锁全部动画

为了解决这两个问题，我们可以将区间 C[a,b] ~C[a,b]~均匀地划分为 n+1 ~n+1~个子区间，每个子区间的长度为：
Δt=b−an+1\Delta t = \frac{b-a}{n+1}
然后，我们在这些子区间的中点 tj ~t_j~进行加权求和。为了求和值不稳定问题，我们可以引入归一化因子 1n+1 ~\frac{1}{n+1}~进行尺度调整：
⟨p,q⟩=1n+1∑j=0np(tj)q(tj)Δt\langle p, q \rangle = \frac{1}{n+1} \sum_{j=0}^{n} p(t_j) q(t_j) \Delta t
随着 n→∞ ~n \to \infty~，划分的点数增加，子区间的长度 Δt ~\Delta t~变得越来越小。此时，上述求和表达式变成了黎曼和（Riemann sum\textbf{Riemann sum}） ，在极限下收敛到积分：
lim⁡n→∞∑j=0np(tj)q(tj)Δt=∫abp(t)q(t) dt\lim_{n \to \infty} \sum_{j=0}^{n} p(t_j) q(t_j) \Delta t = \int_a^b p(t) q(t) \, dt
于是，我们得到函数空间中的积分定义的内积：
⟨p,q⟩=1b−a∫abp(t)q(t) dt\langle p, q \rangle = \frac{1}{b - a} \int_a^b p(t) q(t) \, dt
这个内积不仅适用于多项式空间 Pn ~\mathbb{P}_n~，而且适用于所有的连续函数，因此它可以作为连续函数空间 C[a,b] ~C[a,b]~中的内积。

7.2 一般函数内积定义与验证

在一般情况下，对于任意连续函数f,g∈C[a,b]f, g \in C[a, b]，我们可以直接定义它们的内积为：
⟨f,g⟩=∫abf(t)g(t) dt\langle f, g \rangle = \int_a^b f(t) g(t) \, dt
下面验证这一定义满足内积空间的四个基本公理：

根据内积的定义：
⟨f,g⟩=∫abf(t)g(t) dt\langle f, g \rangle = \int_a^b f(t) g(t) \, dt
因为乘法是可交换的，即 f(t)g(t)=g(t)f(t) ~f(t)g(t) = g(t)f(t)~ ，因此：
⟨g,f⟩=∫abg(t)f(t) dt=∫abf(t)g(t) dt=⟨f,g⟩\langle g, f \rangle = \int_a^b g(t) f(t) \, dt = \int_a^b f(t) g(t) \, dt = \langle f, g \rangle
因此，对称性成立。

根据内积的定义：
⟨f+h,g⟩=∫ab(f(t)+h(t))g(t) dt\langle f + h, g \rangle = \int_a^b (f(t) + h(t)) g(t) \, dt
可以将积分拆分：
⟨f+h,g⟩=∫abf(t)g(t) dt+∫abh(t)g(t) dt=⟨f,g⟩+⟨h,g⟩\langle f + h, g \rangle = \int_a^b f(t) g(t) \, dt + \int_a^b h(t) g(t) \, dt = \langle f, g \rangle + \langle h, g \rangle
因此，加法线性成立。

根据内积的定义：
⟨cf,g⟩=∫ab(cf(t))g(t) dt\langle c f, g \rangle = \int_a^b (c f(t)) g(t) \, dt
我们可以把常数 c 提到积分外面：
⟨cf,g⟩=c∫abf(t)g(t) dt=c⟨f,g⟩\langle c f, g \rangle = c \int_a^b f(t) g(t) \, dt = c \langle f, g \rangle
因此，标量线性成立。

根据内积的定义：
⟨f,f⟩=∫abf(t)2 dt\langle f, f \rangle = \int_a^b f(t)^2 \, dt
由于f(t)2≥0f(t)^2 \geq 0对于所有 t∈[a,b] ~t \in [a, b]~成立，且 f(t)2=0 ~f(t)^2 = 0~当且仅当f(t)=0f(t) = 0，因此：
⟨f,f⟩≥0\langle f, f \rangle \geq 0
而且只有当f(t)=0f(t) = 0对所有t∈[a,b]t \in [a, b]时，⟨f,f⟩=0\langle f, f \rangle = 0。 因此，非负性与正定性成立。

7.3 连续函数空间的正交化过程

接下来，我们通过一个具体的例子来演示如何在连续函数空间中应用 Gram-Schmidt ~\text{Gram-Schmidt}~正交化。设 V=C[0,1] ~V = C[0, 1]~ 为连续函数空间，并给定多项式 p1(t)=1, p2(t)=2t−1, p3(t)=12t2 ~p_1(t) = 1,~p_2(t) = 2t - 1,~p_3(t) = 12t^2~，其中 W ~W~为由这些多项式张成的子空间。使用 Gram-Schmidt ~\text{Gram-Schmidt}~ 正交化找出 W ~W~的正交基。

  1. 选择第一个多项式作为正交基 q ~q_~

    • 选择 q1=p1 ~q_1 = p_1~作为第一个正交基向量。

  2. 构造第二个正交基 q2 ~q_2~

    • 通过计算⟨p2,q1⟩\langle p_2, q_1 \rangle的内积：
      ⟨p2,q1⟩=∫01(2t−1)(1)dt=[t2−t]01=0\left\langle p_2, q_1 \right\rangle = \int_0^1 (2t - 1)(1) dt = \left[ t^2 - t \right]_0^1 = 0
      由于内积为零，说明 p2 ~p_2~已经与 q1 ~q_1~正交。因此我们可以直接令 q2=p2 ~q_2 = p_2~。

  3. 构造第三个正交基 q3 ~q_3~

    • 利用如下公式计算 q3 ~q_3~：
      q3=p3−projW2p3q_3 = p_3 - \text{proj}_{W_2} p_3
    • W2 W_2~是由 q1 ~q_1~q_1和q_2 张成的子空间。我们使用投影公式：
      projW2p3=⟨p3,q1⟩⟨q1,q1⟩q1+⟨p3,q2⟩⟨q2,q2⟩q2\text{proj}_{W_2} p_3 = \frac{\langle p_3, q_1 \rangle}{\langle q_1, q_1 \rangle} q_1 + \frac{\langle p_3, q_2 \rangle}{\langle q_2, q_2 \rangle} q_2
      对于 p3(t)=12t2 ~p_3(t) = 12t^2~，需要计算内积 ⟨p3,q1⟩~\langle p_3, q_1\rangle，⟨p3,q1⟩\langle p_3, q_1\rangle，⟨q1,q1⟩\langle q_1, q_1\rangle，⟨q2,q2⟩ \langle q_2, q_2 \rangle~：
      ⟨p3,q1⟩=∫0112t2⋅1 dt=[t3]01=4⟨q1,q1⟩=∫011⋅1 dt=[t]01=1⟨p3,q2⟩=∫0112t2(2t−1) dt=∫01(24t3−12t2) dt=2⟨q2,q2⟩=∫01(2t−1)2 dt=16∫01(2t−1)3 dt=13\begin{aligned} \langle p_3, q_1 \rangle &= \int_0^1 12t^2 \cdot 1 \, dt = \left[t^3 \right]_0^1 = 4 \\[2ex] \langle q_1, q_1 \rangle &= \int_0^1 1 \cdot 1 \, dt = \left[t \right]_0^1 = 1 \\[2ex] \langle p_3, q_2 \rangle &= \int_0^1 12t^2(2t - 1) \, dt = \int_0^1 (24t^3 - 12t^2) \, dt = 2 \\[2ex] \langle q_2, q_2 \rangle &= \int_0^1 (2t - 1)^2 \, dt = \frac{1}{6} \int_0^1 (2t - 1)^3 \, dt = \frac{1}{3} \end{aligned}
      代入投影公式可得，
      projW2p3=⟨p3,q1⟩⟨q1,q1⟩q1+⟨p3,q2⟩⟨q2,q2⟩q2=41q1+213q2=4q1+6q2\begin{aligned} \text{proj}_{W_2} p_3 &= \frac{\langle p_3, q_1 \rangle}{\langle q_1, q_1 \rangle} q_1 + \frac{\langle p_3, q_2 \rangle}{\langle q_2, q_2 \rangle} q_2 \\[3ex] &= \frac{4}{1} q_1 + \frac{2}{\frac{1}{3}} q_2 \\[3ex] &= 4 q_1 + 6 q_2 \end{aligned}
      最后结果：
      q3=p3−projW2p3=12t2−4−6(2t−1)=12t2−12t+2\begin{aligned} q_3 &= p_3 - \text{proj}_{W_2} p_3\\[2ex] &= 12t^2 - 4 - 6(2t - 1)\\[2ex] &= 12t^2 - 12t + 2 \end{aligned}
最终，子空间 W ~W~的正交基是：
{q1, q2, q3}={1, 2t−1, 12t2−12t+2}\{ q_1, ~ q_2, ~ q_3 \} = \{ 1, ~ 2t - 1, ~ 12t^2 - 12t + 2 \}

6.6 机器学习和线性模型

6.8 内积空间的应用

bei an浙ICP备2024102481号