核心性质速查：概念关系图与公式速查表

本文是 Art. 0–5 的速查总结。先用一张关系图展示核心概念之间的推导链条，再按主题列出所有必须记住的公式和等价条件。

使用方式：读完前 6 篇文章后，用本文做回顾和自测。如果某条结论不确定，点击来源链接回到原文复习。

概念关系图

下图的核心信息： $A^TA$ 是连接最多的枢纽——它同时是对称的、半正定的、投影的基础、SVD 的推导起点、协方差矩阵的本体。理解了 $A^TA$ ，就串联了大半张图。

一、对称矩阵家族

对称矩阵 $A = A^T$ 的核心地位

二次型 $\mathbf{x}^TB\mathbf{x}$ 只受 $B$ 的对称部分影响 → 正定性只对对称矩阵讨论
$A^TA$ 必对称： $(A^TA)^T = A^TA$
Hessian 必对称（Schwarz 定理）
谱定理保证：实特征值 + 正交特征向量 + 正交对角化 $A = Q\Lambda Q^T$

来源：Art. 1B §3、Art. 2 §3

二、正交矩阵家族

正交矩阵 $Q^TQ = I$

$Q^{-1} = Q^T \qquad \|Q\mathbf{x}\| = \|\mathbf{x}\| \qquad (Q\mathbf{x})^T(Q\mathbf{y}) = \mathbf{x}^T\mathbf{y}$

转置即逆，保长度，保角度。 $\det(Q) = +1$ 旋转， $\det(Q) = -1$ 反射。条件数 $\kappa(Q) = 1$ 。

投影核心公式

投影目标	条件	投影矩阵	投影结果
单位向量 $\mathbf{q}$	$\\|\mathbf{q}\\|=1$	$P = \mathbf{q}\mathbf{q}^T$	$\hat{\mathbf{v}} = (\mathbf{q}^T\mathbf{v})\,\mathbf{q}$
正交基 $W$	$k$ 列标准正交	$P = WW^T$	$\hat{\mathbf{v}} = W(W^T\mathbf{v})$
一般列满秩 $A$	$A^TA$ 可逆	$P = A(A^TA)^{-1}A^T$	$\hat{\mathbf{b}} = P\mathbf{b}$ （最小二乘）

正交投影矩阵的充要条件： $P^2 = P$ （幂等）且 $P^T = P$ （对称）。

来源：Art. 1A §2、Art. 1A §5

三、正定与半正定

正定性等价条件链

条件	正定	半正定
二次型	$\mathbf{x}^TA\mathbf{x} > 0$ （ $\forall \mathbf{x} \neq \mathbf{0}$ ）	$\mathbf{x}^TA\mathbf{x} \geq 0$
特征值	全部 $\lambda_i > 0$	全部 $\lambda_i \geq 0$
$B^TB$ 形式	$A = B^TB$ 且 $B$ 列满秩	$A = B^TB$
可逆性	必可逆	可能奇异

ML 中的半正定矩阵：协方差矩阵（ $\frac{1}{n}X^TX$ ）、Gram 矩阵（ $V^TV$ ）、Kernel 矩阵（ $\Phi\Phi^T$ ）——都是 $B^TB$ 形式，天然对称半正定。

来源：Art. 1B §2、Art. 2 §4

四、特征分解与谱定理

特征分解 = 对角化

$A = P\Lambda P^{-1} \quad \Longleftrightarrow \quad \Lambda = P^{-1}AP$

幂运算： $A^n = P\Lambda^n P^{-1}$ 。矩阵函数： $f(A) = Pf(\Lambda)P^{-1}$ 。

对称特例（谱定理）： $P$ 变为正交矩阵 $Q$ ， $A = Q\Lambda Q^T = \sum_i \lambda_i \mathbf{q}_i\mathbf{q}_i^T$

其中每个 $\mathbf{q}_i\mathbf{q}_i^T$ 就是向 $\mathbf{q}_i$ 方向的正交投影矩阵（见第二节投影表第 1 行）。谱分解的直觉：对称矩阵 = 各特征方向投影的 $\lambda_i$ 加权和。

性质	公式
迹 = 特征值之和	$\text{tr}(A) = \sum_i \lambda_i$
行列式 = 特征值之积	$\det(A) = \prod_i \lambda_i$
可逆 ⟺ 无零特征值	$\det(A) \neq 0 \iff \lambda_i \neq 0 \; \forall i$

来源：Art. 2 §2、Art. 2 §3

五、SVD

SVD 核心公式（任意 $m \times n$ 矩阵均可分解）

$A = U\Sigma V^T = \sum_{i=1}^{r} \sigma_i \mathbf{u}_i \mathbf{v}_i^T$

每个 $\mathbf{u}_i\mathbf{v}_i^T$ 是秩一矩阵，把输入方向 $\mathbf{v}_i$ 连接到输出方向 $\mathbf{u}_i$ 。SVD = 各奇异方向秩一分量的 $\sigma_i$ 加权和——与谱分解 $\sum \lambda_i \mathbf{q}_i\mathbf{q}_i^T$ 完全对应：对称时 $\mathbf{u}_i = \mathbf{v}_i = \mathbf{q}_i$ ，秩一分量退化为投影矩阵，SVD 退化为谱定理。

连接	关系
$A^TA$	$= V\Sigma^2 V^T$ ，特征向量 = 右奇异向量 $V$
$AA^T$	$= U\Sigma^2 U^T$ ，特征向量 = 左奇异向量 $U$
对称时	$U = V = Q$ ，$\Sigma =
秩	$\text{rank}(A)$ = 非零 $\sigma_i$ 个数

Eckart-Young 定理：截断 SVD $A_k$ 是最优 rank- $k$ 近似。信息保留率 $= \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{i=1}^r \sigma_i^2}$ 。

伪逆： $A^+ = V\Sigma^+ U^T$ （对非零奇异值取倒数，零保持零）。

随机化 SVD：精确 SVD 复杂度 $O(mn\min(m,n))$ ，对大矩阵不可行。核心思路：用随机投影 $Y = A\Omega$ 捕获 $A$ 的主要列空间 → QR 得正交基 $Q$ → 在小空间 $B = Q^TA$ 里做精确 SVD → 恢复 $U = Q\hat{U}$ 。复杂度降到 $O(mn(k+p))$ 。理论基础：JL 引理保证随机投影保持距离， $k \geq 8\ln N / \varepsilon^2$ （只取决于点数，与原始维度无关）。

来源：Art. 3 §2、Art. 3 §5、Art. 6

六、范数与条件数

三大范数（全部用奇异值表达）

范数	公式	含义
Frobenius	$\\|A\\|_F = \sqrt{\sum \sigma_i^2} = \sqrt{\text{tr}(A^TA)}$	总能量
Spectral	$\\|A\\|_2 = \sigma_{\max}$	最大拉伸
Nuclear	$\\|A\\|_* = \sum \sigma_i$	rank 的凸松弛

条件数： $\kappa(A) = \sigma_{\max} / \sigma_{\min}$ 。 $\kappa \approx 1$ 良态， $\kappa \gg 1$ 病态。

来源：Art. 4 §1、Art. 4 §4

七、微积分桥梁

统一视角：导数的作用总是把输入空间的微小扰动线性地映射到输出空间的变化——只是随维度升高，“乘法”的形式在变：

层级	扰动 → 变化	”乘法”形式
标量→标量	$\Delta y \approx f'\,\Delta x$	标量乘法
向量→标量	$\Delta f \approx \nabla f^T \Delta\mathbf{x}$	向量内积
向量→向量	$\Delta\mathbf{y} \approx J\,\Delta\mathbf{x}$	矩阵-向量乘法
矩阵→标量	$\Delta L \approx \langle \nabla_W L,\,\Delta W \rangle = \text{tr}(\nabla_W L^T\,\Delta W)$	矩阵内积

常用梯度 + Taylor 展开

$\nabla(\mathbf{a}^T\mathbf{x}) = \mathbf{a} \qquad \nabla(\mathbf{x}^TA\mathbf{x}) = 2A\mathbf{x}$

$f(\mathbf{x}+\Delta\mathbf{x}) \approx f(\mathbf{x}) + \nabla f^T\Delta\mathbf{x} + \tfrac{1}{2}\Delta\mathbf{x}^T H \Delta\mathbf{x}$

Hessian $H$ 必对称 → 谱定理适用 → 特征值 = 各方向曲率。 $H$ 正定 → 局部最小。 $\kappa(H)$ 大 → 梯度下降收敛慢。

来源：Art. 5 §1、Art. 5 §4

八、助记口诀

口诀	公式	含义
左行右列	$DA$ 缩行、 $AD$ 缩列； $A\mathbf{x}=\sum_j x_j\mathbf{a}_j$ 组合列、 $\mathbf{x}^TA=\sum_i x_i\mathbf{a}_i^T$ 组合行	同一原则：左乘动行，右乘动列。对角阵 $D$ 、列向量 $\mathbf{x}$ 、行向量 $\mathbf{x}^T$ 全部遵守
$\mathbf{v}\mathbf{v}^T$ / $WW^T$ = 投影	$\mathbf{v}\mathbf{v}^T$ （ $\mathbf{v}$ 为单位向量）； $WW^T$ （ $W$ 为列正交矩阵）	$\mathbf{v}\mathbf{v}^T$ 是秩一正交投影矩阵， $\mathbf{v}$ 必须是单位向量（ $\lVert\mathbf{v}\rVert=1$ ）； $WW^T$ 投影到 $W$ 各列张成的子空间。遵循左行右列： $PA$ 左乘投影每一列， $AP$ 右乘投影每一行。谱分解 $A = \sum \lambda_i \mathbf{q}_i\mathbf{q}_i^T$ 中每项都是投影 × 权重
正交 → 转置即逆	正交矩阵 $Q^{-1} = Q^T$	$Q$ 的逆就是转置，计算代价为零
对称 → 正交对角化	$A = Q\Lambda Q^T$ （谱定理）	对称矩阵一定可以用正交矩阵对角化，特征值全为实数，特征向量两两正交
谱分解 ↔ SVD 外积展开	谱： $\sum \lambda_i \mathbf{q}_i\mathbf{q}_i^T$ ；SVD： $\sum \sigma_i \mathbf{u}_i\mathbf{v}_i^T$	谱分解是对称矩阵的特例（ $\mathbf{u}_i = \mathbf{v}_i = \mathbf{q}_i$ ，秩一分量退化为投影）。SVD 是任意矩阵的广义谱分解：每个 $\mathbf{u}_i\mathbf{v}_i^T$ 连接输入/输出方向
$A^TA$ → 对称 + 半正定 + SVD 起点	$(A^TA)^T = A^TA$ ； $\mathbf{x}^T A^TA\mathbf{x} = \lVert A\mathbf{x}\rVert^2 \geq 0$	对称 → 可正交对角化（特征向量 = 右奇异向量 $V$ ）；半正定 → 特征值 $\geq 0$ ；特征值 $= \sigma_i^2$ → 开方得奇异值， $A\mathbf{v}_i = \sigma_i\mathbf{u}_i$ 配对出左奇异向量
截断 SVD = 双侧投影	$A_k = U_k(U_k^TA) = (AV_k)V_k^T$	左乘 $U_kU_k^T$ 投影列（输出空间），右乘 $V_kV_k^T$ 投影行（输入空间），两边切出同一个最优秩 $k$ 近似
$\text{tr}(A^TB)$ = 矩阵内积 = 拍平内积	$\text{tr}(A^TB) = \sum_{ij} a_{ij}b_{ij} = \text{vec}(A)^T\text{vec}(B)$	矩阵内积 = 逐元素相乘求和 = 拉平成向量后做点积。特例 $B=A$ 时 $\text{tr}(A^TA) = \lVert A\rVert_F^2$
奇异值统一度量	$\lVert A\rVert_F$ , $\lVert A\rVert_2$ , $\lVert A\rVert_*$	Frobenius = $\ell_2$ ，Spectral = $\ell_\infty$ ，Nuclear = $\ell_1$ ，全部作用在奇异值向量 $\boldsymbol{\sigma}$ 上