2.4 分块矩阵

分块矩阵

分块矩阵的一个重要作用是使得复杂矩阵的运算（如加法、乘法、求逆等）可以分解为对小块矩阵的运算。这种分块的思路在线性代数中广泛应用，特别是在计算机科学和工程中，例如求解大规模线性方程组、矩阵分解和数值计算等场景下。

1. 分块矩阵

对于大矩阵，通过水平和垂直分割，我们可以将一个矩阵分成若干子矩阵。请观察下面的矩阵分块过程：

这种技术在实际应用中非常常见，例如在图形处理器 GPU 上的并行计算中。另外，对矩阵的分块并不是随意划分的，而是需要根据实际情况来定。例如：在 GPU 并行计算中，为了充分利用每个线程块的计算能力，矩阵分块的大小通常与 GPU 线程块大小匹配（如 16x16 或 32x32）；在稀疏矩阵中，需要根据非零元素分布进行分块，这样可以避免对零元素进行无效计算。例如下面对稀疏矩阵的分块：

2. 分块矩阵的加法和数乘

相同分块方式的矩阵加法：当两个矩阵

~\mathbf{A}~

和

~\mathbf{B}~

具有相同的大小并且以相同的方式进行了分块时，矩阵的加法操作可以逐块进行。也就是说，矩阵

~\mathbf{A}+\mathbf{B}~

的每个块是矩阵

~\mathbf{A}~

和矩阵

~\mathbf{B}~

对应块的和。

数乘的分块矩阵运算：如果对一个分块矩阵进行标量乘法运算，也可以逐块计算。这意味着分块矩阵的标量乘法可以通过对每个子块进行标量乘法来实现。

3. 分块矩阵的乘法

分块矩阵的乘法：分块矩阵可以使用通常的行列乘法法则进行运算，前提是将分块矩阵的每个子矩阵视为标量进行操作。

列与行的分块匹配：在进行矩阵乘法 $~\mathbf{AB}~$ 时，矩阵 $~\mathbf{A}~$ 的列分块和矩阵 $~\mathbf{B}~$ 的行分块必须匹配。这意味着矩阵 $~\mathbf{A}~$ 和 $~\mathbf{B}~$ 的分块方式需要协调一致，才能确保正确的矩阵乘法运算。具体来说，分解 $~\mathbf{A}~$ 的每个子矩阵的列数必须与分解 $~\mathbf{B}~$ 的对应子矩阵的行数相同，以保证矩阵乘法运算能够进行。

4. 列-行展开定理

除了我们前面介绍过的行列法则，对于矩阵乘积 $~\mathbf{AB}~$ ，如果我们按列对矩阵 $~\mathbf{A}~$ 进行分解，并按行对矩阵 $~\mathbf{B}~$ 进行分解，我们可以得到计算矩阵乘积的另一个方法。具体而言，矩阵 $~\mathbf{AB}~$ 是矩阵 $~\mathbf{A}~$ 的每一列和矩阵 $~\mathbf{B}~$ 的对应行相乘，结果是一个矩阵，然后将这些矩阵相加就可以得到最终结果。请观察下面的示例：

观察上面的计算过程不难发现，每一个列向量 $~\text{col}_i(\mathbf{A})~$ 和对应的行向量 $~\text{row}_i(\mathbf{B})~$ 的乘积相互独立，不依赖其他列或行的计算结果。下面是关于列-行展开法的定理：

定理 10

矩阵乘法列-行展开

如果

~\mathbf{A}~

是一个

~m\times n~

矩阵，

~\mathbf{B}~

是一个

~n\times p~

矩阵。那么，矩阵

~\mathbf{AB}~

可以通过以下方式展开：

\begin{align*}\mathbf{AB} &=\begin{bmatrix} \text{col}_1(\mathbf{A}) & \text{col}_2(\mathbf{A}) & \text{col}_n(\mathbf{A}) \end{bmatrix} \begin{bmatrix} \text{row}_1(\mathbf{B})\\ \text{row}_2(\mathbf{B})\\ \vdots \\ \text{row}_n(\mathbf{B}) \end{bmatrix}\\[8ex] &=\text{col}_1(\mathbf{A})\text{row}_1(\mathbf{B})+\dots+col_n(\mathbf{A})\text{row}_n(\mathbf{B}) \end{align*}

列-行展开法特别适合处理稀疏矩阵、结构化矩阵（如对称矩阵、对角矩阵）以及并行计算。例如，在处理稀疏矩阵时，列-行展开法可以跳过零行或零列，从而避免无效计算。对于大规模矩阵乘法，我们可以将矩阵分块，并利用并行处理器对不同的块独立计算，最后再将结果合并。

5. 分块矩阵的逆

对矩阵分块可以简化逆矩阵的计算，尤其是当矩阵具有特定的结构时，例如分块上三角矩阵或者块对角矩阵。对应的矩阵形状如下：

通过分块，我们可以将原问题分解为对较小子矩阵的运算，从而避免直接对大矩阵进行复杂计算。例如，对于分块上三角矩阵，可以利用每个子矩阵的逆来构建整个矩阵的逆。这种方法减少了运算量，使得计算更加高效。下面介绍如何求解一个块上三角矩阵

~\mathbf{A}~

的逆矩阵

~\mathbf{A}^{-1}~

：矩阵

~\mathbf{A}~

是一个块上三角矩阵，形式如下：

\mathbf{A}=\begin{bmatrix}\mathbf{A}_{11}&\mathbf{A}_{12}\\0&\mathbf{A}_{22}\end{bmatrix}

设逆矩阵的形式
- 首先，假设 $~\mathbf{A}^{-1}~$ 也是一个分块矩阵，与 $~\mathbf{A}~$ 结构相似：
  $\mathbf{A}^{-1}=\begin{bmatrix}\mathbf{B}_{11}&\mathbf{B}_{12}\\ \mathbf{B}_{21}&\mathbf{B}_{22}\end{bmatrix}$
列等式
$\begin{bmatrix} \mathbf{A}_{11} & \mathbf{A}_{12} \\ 0 & \mathbf{A}_{22} \end{bmatrix} \begin{bmatrix} \mathbf{B}_{11} & \mathbf{B}_{12} \\ \mathbf{B}_{21} & \mathbf{B}_{22} \end{bmatrix} = \begin{bmatrix} \mathbf{I}_p & 0 \\ 0 & \mathbf{I}_q \end{bmatrix}$
有如下等式：
$\begin{align} \mathbf{A}_{11} \mathbf{B}_{11} + \mathbf{A}_{12} \mathbf{B}_{21} = \mathbf{I}_p \\[1ex] \mathbf{A}_{11} \mathbf{B}_{12} + \mathbf{A}_{12} \mathbf{B}_{22} = 0 \\[1ex] \mathbf{A}_{22} \mathbf{B}_{21} = 0 \\[1ex] \mathbf{A}_{22} \mathbf{B}_{22} = \mathbf{I}_q \\[1ex] \end{align}$
求解方程：
先根据（3），（4）求解 $~\mathbf{B}_{21}~$ 和 $~\mathbf{B}_{22}~$ ，再代入等式（1）、（2），可得：
$\begin{align*} \mathbf{B}_{11}&=\mathbf{A}_{11}^{-1} \\[2ex] \mathbf{B}_{12} &=-\mathbf{A}_{11}^{-1}\mathbf{A}_{12}\mathbf{A}_{22}^{-1} \\[2ex] \mathbf{B}_{21} &=\mathbf{0} \\[2ex] \mathbf{B}_{22} &=\mathbf{A}_{22}^{-1} \end{align*}$
结果：
$\mathbf{A}^{-1}=\begin{bmatrix} \mathbf{A}_{11}^{-1} & -\mathbf{A}_{11}^{-1}\mathbf{A}_{12}\mathbf{A}_{22}^{-1} \\[3ex] \mathbf{0} & \mathbf{A}_{22}^{-1} \end{bmatrix}$

2.3 可逆矩阵的特征