Description：线性代数核心：四个基本子空间、特殊矩阵（对称/正定/正交）、谱定理、条件数、Woodbury 恒等式、Schur 补、矩阵微分；含 SLAM 应用索引
My Notion Note ID：K4-A-1
Created：2026-06-14
Updated：2026-06-27
License：转载欢迎：转载请注明作者 Yu Zhang 并附原文出处（yuzhang.io）

1. 向量空间与矩阵的四个基本子空间
2. 特殊矩阵性质
3. 特征值与谱定理
4. 矩阵的几何直觉
5. 重要矩阵恒等式
6. 群与代数结构
7. 可逆矩阵与广义逆
- 7.1 可逆矩阵
- 7.2 Moore-Penrose 伪逆
8. SLAM 中的应用索引
References

1. 向量空间与矩阵的四个基本子空间

1.1 向量空间（Vector Space）

向量空间 $\mathcal{V}$ ：对加法与标量乘法封闭的集合； $\mathbb{R}^n$ 是最常用例子
子空间（Subspace）：含零向量、对线性组合封闭的子集
基（Basis）与维数（Dimension）：线性无关生成向量集 → 基；基向量个数 = 维数
线性张成（Linear Span）：集合 $S$ 所有线性组合构成的最小子空间 $\text{span}(S)$

1.2 四个基本子空间（Four Fundamental Subspaces）

对矩阵 $A \in \mathbb{R}^{m \times n}$ ，秩 $r = \text{rank}(A)$ ：

子空间	定义	所在空间	维数
列空间 $\mathcal{C}(A)$	$\{Ax : x \in \mathbb{R}^n\}$ ， $A$ 列向量的线性组合	$\mathbb{R}^m$	$r$
零空间（核） $\mathcal{N}(A)$	$\{x : Ax = 0\}$ ，被 $A$ "压扁"的方向	$\mathbb{R}^n$	$n - r$
行空间 $\mathcal{C}(A^T)$	$A$ 行向量的线性组合	$\mathbb{R}^n$	$r$
左零空间 $\mathcal{N}(A^T)$	$\{y : A^T y = 0\}$	$\mathbb{R}^m$	$m - r$

秩-零化子定理（Rank-Nullity Theorem）： $\text{rank}(A) + \dim \mathcal{N}(A) = n$

正交关系：行空间 $\perp$ 零空间；列空间 $\perp$ 左零空间

1.3 满秩、列满秩、亏秩

列满秩（ $r = n$ ）：零空间 = $\{0\}$ ， $Ax = b$ 最多一个解
行满秩（ $r = m$ ）： $Ax = b$ 总有解（可能不唯一）
满秩方阵（ $r = m = n$ ）：可逆，唯一解
亏秩（ $r < n$ ）：零空间非平凡 → $Ax = 0$ 有无穷多解 → SLAM 中对应不可观测性

2. 特殊矩阵性质

2.1 对称矩阵（Symmetric Matrix）

$A = A^T$ ，即 $a_{ij} = a_{ji}$ ：

特征值全为实数
不同特征值对应的特征向量正交
可对角化： $A = Q \Lambda Q^T$ （谱定理，见 §3.2）
SLAM 中：信息矩阵 $\Omega$ 、Hessian $H = J^T J$ 均为对称矩阵

2.2 正定、半正定、不定（PD / PSD / Indefinite）

对对称矩阵 $A$ ，以二次型 $x^T A x$ 定义：

类型	记号	二次型条件	特征值	逆矩阵
正定（PD）	$A \succ 0$	$x^T A x > 0$ ， $\forall x \ne 0$	全 $> 0$	存在
半正定（PSD）	$A \succeq 0$	$x^T A x \ge 0$ ， $\forall x$	全 $\ge 0$	不一定
不定	—	有正有负	正负均有	—
负定（ND）	$A \prec 0$	$x^T A x < 0$ ， $\forall x \ne 0$	全 $< 0$	存在

判定方法：

所有前导主子式（leading principal minors） $> 0$ → 正定（Sylvester 准则）
Cholesky 分解成功 → 正定（工程常用）
SLAM： $H = J^T J$ 恒为 PSD； $J$ 列满秩时升级为 PD（可用 Cholesky）

2.3 正交矩阵（Orthogonal Matrix）

$Q^T Q = I$ （方阵时还有 $Q Q^T = I$ ）：

各列标准正交： $q_i \cdot q_j = \delta_{ij}$
保长度： $\|Qx\| = \|x\|$ ；保内积： $(Qx) \cdot (Qy) = x \cdot y$
$|\det Q| = 1$ ； $\det = +1$ → 纯旋转； $\det = -1$ → 旋转 + 反射
SLAM：旋转矩阵 $R \in SO(3)$ 是正交矩阵子集（ $\det = +1$ ）

3. 特征值与谱定理

3.1 特征值与特征向量

$Av = \lambda v$ ， $v \ne 0$ ： $\lambda$ 为特征值， $v$ 为特征向量（沿此方向 $A$ 只做缩放 $\lambda$ ）

特征多项式： $\det(A - \lambda I) = 0$

量	与特征值的关系
$\det(A)$	$\prod_i \lambda_i$
$\text{tr}(A) = \sum_i a_{ii}$	$\sum_i \lambda_i$
$\text{rank}(A)$ （对称矩阵）	非零特征值个数
$A^{-1}$ 的特征值	$1/\lambda_i$ （若 $A$ 可逆）
$A^k$ 的特征值	$\lambda_i^k$

3.2 对称矩阵的谱定理（Spectral Theorem）

对实对称矩阵 $A = A^T \in \mathbb{R}^{n \times n}$ ：

A = Q \Lambda Q^T

$Q = [q_1, \dots, q_n]$ — 正交矩阵，列为标准正交特征向量
$\Lambda = \text{diag}(\lambda_1, \dots, \lambda_n)$ — 实对角矩阵， $\lambda_1 \ge \lambda_2 \ge \dots$
等价展开： $A = \sum_{i=1}^n \lambda_i q_i q_i^T$ （秩 1 矩阵的加权叠加，权重为特征值）

意义： $A$ 的作用 = 沿各特征方向投影 → 缩放 $\lambda_i$ → 重建

3.3 条件数（Condition Number）

\kappa(A) = \frac{\sigma_{\max}}{\sigma_{\min}}

$\sigma_i$ 为奇异值（对 SPD 矩阵 $\sigma_i = \lambda_i$ ；一般矩阵 $\sigma_i = \sqrt{\lambda_i(A^T A)}$ ）：

$\kappa = 1$ ：等比缩放（理想）
$\kappa \gg 1$ ：病态矩阵，小扰动引起大误差
SLAM： $\kappa(H) = \kappa(J)^2$ ，Hessian 病态时增量方程数值不稳定

3.4 PSD 矩阵的伪逆与平方根

对 PSD 矩阵 $A = Q \Lambda Q^T$ （ $\lambda_i \ge 0$ ）：

伪逆： $A^+ = Q \Lambda^+ Q^T$ ， $\Lambda^+_{ii} = 1/\lambda_i$ （ $\lambda_i > 0$ ）或 $0$
平方根： $A^{1/2} = Q \Lambda^{1/2} Q^T$
PD 情形： $A^{-1} = Q \Lambda^{-1} Q^T$

4. 矩阵的几何直觉

4.1 矩阵 = 线性变换

$A \in \mathbb{R}^{m \times n}$ 把 $\mathbb{R}^n$ 线性映射到 $\mathbb{R}^m$ 。每一列 $a_j = A e_j$ 说明第 $j$ 个标准基向量的去处。

4.2 行列式 = 体积缩放因子

$|\det A|$ ：变换后单位超立方体的体积缩放倍数
$\det A = 0$ ：空间被压缩（降维），矩阵奇异
$\det A < 0$ ：改变了方向（右手系 → 左手系）
正交矩阵： $|\det Q| = 1$ ，纯旋转/反射，体积不变

4.3 三角矩阵 = 剪切变换（Shear）+ 缩放

上三角 $2 \times 2$ 的分解：

\begin{bmatrix} a & b \\ 0 & d \end{bmatrix} = \underbrace{\begin{bmatrix} a & 0 \\ 0 & d \end{bmatrix}}_{\text{轴向缩放}} \underbrace{\begin{bmatrix} 1 & b/a \\ 0 & 1 \end{bmatrix}}_{\text{纯剪切，}\det=1}

对角项 → 轴向缩放（ $\det = ad$ ）；非对角项 → 剪切（不改变面积）
单位三角矩阵（对角全 1）：纯剪切， $\det = 1$ ，体积不变
LU 分解 $A = LU$ ： $U$ 做缩放 + 上三角剪切； $L$ 做纯下三角剪切（ $\det L = 1$ ）
Cholesky $A = LL^T$ ："对称剪切"，对 SPD 矩阵保持正定
三角回代高效的原因：剪切链可逐步（每步一个变量）反向解开

4.4 正交矩阵 = 旋转（或旋转 + 反射）

$\|Qx\| = \|x\|$ ，方向角不变： $\det Q = +1$ → 纯旋转； $\det Q = -1$ → 旋转 + 反射

5. 重要矩阵恒等式

5.1 Woodbury 矩阵恒等式（Matrix Inversion Lemma）

(A + UCV)^{-1} = A^{-1} - A^{-1} U (C^{-1} + V A^{-1} U)^{-1} V A^{-1}

$A \in \mathbb{R}^{n \times n}$ ， $U \in \mathbb{R}^{n \times k}$ ， $C \in \mathbb{R}^{k \times k}$ ， $V \in \mathbb{R}^{k \times n}$ ， $k \ll n$ ：

对大矩阵 $A$ 做低秩修正后不重新从头求逆，只需 $k \times k$ 规模运算
特例 Sherman-Morrison（ $k=1$ ）： $(A + uv^T)^{-1} = A^{-1} - \frac{A^{-1}uv^T A^{-1}}{1 + v^T A^{-1}u}$
SLAM：EKF 加入新观测后高效更新协方差 $\Sigma$

5.2 Schur 补（Schur Complement）

对分块矩阵（ $D$ 可逆）：

M = \begin{bmatrix} A & B \\ C & D \end{bmatrix}, \qquad M / D = A - BD^{-1}C

$\det M = \det D \cdot \det(M/D)$
正定性： $M \succ 0 \Leftrightarrow D \succ 0$ 且 $M/D \succ 0$
SLAM：BA Schur 补消路标点；边缘化时把边缘化变量消去

5.3 矩阵微分常用结论

\frac{\partial (x^T A x)}{\partial x} = 2Ax \quad (A \text{ 对称}), \qquad \frac{\partial (b^T x)}{\partial x} = b

\frac{\partial \|Ax - b\|^2}{\partial x} = 2A^T(Ax - b)

令梯度为 0 → 正规方程（Normal Equation）： $A^T A x = A^T b$

5.4 矩阵迹（Trace）

\text{tr}(AB) = \text{tr}(BA), \qquad \text{tr}(A) = \sum_i \lambda_i, \qquad \|A\|_F^2 = \text{tr}(A^T A)

$\|\cdot\|_F$ — Frobenius 范数； $\text{tr}(AB) = \text{tr}(BA)$ 称为迹的轮换不变性

6. 群与代数结构

6.1 群（Group）

一个群 $(G, \cdot)$ 满足四条公理：

封闭性： $\forall a, b \in G,\ a \cdot b \in G$
结合律： $(ab)c = a(bc)$
单位元： $\exists e \in G,\ \forall a \in G,\ ea = ae = a$ （唯一）
逆元： $\forall a \in G,\ \exists a^{-1} \in G,\ a a^{-1} = a^{-1} a = e$

6.2 矩阵群（Matrix Group）

$GL(n)$ （一般线性群）： $n \times n$ 可逆实矩阵，群运算为矩阵乘法
$SO(n)$ （特殊正交群）： $\{Q \in \mathbb{R}^{n\times n} : Q^T Q = I,\ \det Q = +1\}$ ，即旋转群
$SE(3)$ （特殊欧式群）：3D 刚体变换（旋转 + 平移）
SLAM 中位姿优化在 $SE(3)$ 或其李代数 $\mathfrak{se}(3)$ 上进行

6.3 域（Field）

域 $\mathbb{F}$ 上定义了加法、减法、乘法、除法，满足分配律等。常用域： $\mathbb{Q}$ （有理数）、 $\mathbb{R}$ （实数）、 $\mathbb{C}$ （复数）

7. 可逆矩阵与广义逆

7.1 可逆矩阵（Invertible / Nonsingular Matrix）

$n \times n$ 方阵 $A$ 可逆 $\Leftrightarrow$ $\det A \ne 0$ $\Leftrightarrow$ 列满秩 $\Leftrightarrow$ 零空间只含零向量

7.2 Moore-Penrose 伪逆（Pseudoinverse）

对任意 $A \in \mathbb{R}^{m \times n}$ ，伪逆 $A^+$ 满足四条 Penrose 条件，唯一存在。

计算：SVD $A = U\Sigma V^T$ → $A^+ = V\Sigma^+ U^T$ （ $\Sigma^+$ 对非零奇异值取倒数）

最小二乘解： $x^* = A^+ b$ （列满秩时退化为 $(A^T A)^{-1} A^T b$ ）
SLAM：齐次方程 $Ax = 0$ 的最小二乘解 = $V$ 最小奇异值对应列

8. SLAM 中的应用索引

概念	SLAM 场景
SVD $A = U\Sigma V^T$	齐次方程 $Ax=0$ （F矩阵/DLT/三角化）、伪逆、rank-revealing
Cholesky $A = LL^T$ （SPD）	GN/LM 增量方程 $H\Delta x = -g$ 、稀疏 BA
Schur 补	BA 消路标点、边缘化推导
条件数 $\kappa$	判断增量方程数值稳定性、选分解方法
Woodbury 恒等式	EKF 加新观测后高效更新协方差
正交矩阵	旋转矩阵 $R \in SO(3)$ 、Procrustes（ICP 点云对齐）
零空间	VIO 不可观测自由度（ $x, y, z, \psi$ 这 4 维）
PD/PSD 判定	决定能否用 Cholesky（ $H = J^TJ$ 正定性）

References

Strang, G. Introduction to Linear Algebra (5th ed.). Wellesley-Cambridge Press, 2016 — 四个子空间、谱定理的直觉讲法
Trefethen, L. N., & Bau, D. Numerical Linear Algebra. SIAM, 1997 — 条件数、数值稳定性
Golub, G. H., & Van Loan, C. F. Matrix Computations (4th ed.). Johns Hopkins, 2013 — Schur 补、Woodbury、LU 主元
Horn, R. A., & Johnson, C. R. Matrix Analysis (2nd ed.). Cambridge, 2013 — 谱定理、正定矩阵判定准则

线性代数 Linear Algebra

Table of Contents