矩阵微积分：从 Jacobian 到损失曲面

上一篇我们建立了度量工具箱——范数回答”矩阵有多大”，条件数回答”系统有多敏感”。但在 ML 中，矩阵不只被度量，更被优化。训练神经网络的本质是：给定损失函数 $\mathcal{L}(W)$，找到使 $\mathcal{L}$ 最小的权重矩阵 $W$。

要优化，就要求导。但 $W$ 是一个矩阵——标量对矩阵求导意味着什么？梯度的形状是什么？多层网络中的链式法则如何推广为矩阵乘法？损失曲面的曲率如何用 Hessian 矩阵刻画？

这些正是矩阵微积分（Matrix Calculus）要回答的问题。它是 Art. 1 分解概述 六类矩阵操作中的第三件工具——微分：参数变了，输出怎么变。分解让我们理解矩阵的结构，度量让我们衡量近似的质量，微分则让我们改变矩阵以优化目标。这三件工具合在一起，构成了 ML 中矩阵分析的完整基础。

本文从最简单的标量对标量求导开始，逐级推广到标量对向量、向量对向量（Jacobian）、标量对矩阵，然后建立链式法则的矩阵形式（也就是反向传播的数学本质），最后深入 Hessian 矩阵和损失曲面的几何。

求导的四个层级

微积分的核心操作是求导——“输入变一点，输出变多少”。在标量世界中这是一个数，但当输入和输出都是向量或矩阵时，导数的”形状”也相应变化。下图展示了这四个层级的全貌：

第一层：标量对标量

最熟悉的情况。对函数 $f: \mathbb{R} \to \mathbb{R}$，导数是：

$\frac{df}{dx} = \lim_{\epsilon \to 0} \frac{f(x + \epsilon) - f(x)}{\epsilon}$

这是一个标量——输入一个数，输出一个数，导数也是一个数。例如 $f(x) = x^3$，则 $\frac{df}{dx} = 3x^2$。

第二层：标量对向量——梯度

当函数的输入是向量 $\mathbf{x} = (x_1, x_2, \ldots, x_n)^T \in \mathbb{R}^n$ 而输出仍是标量 $f: \mathbb{R}^n \to \mathbb{R}$ 时，我们对每个分量分别求偏导数，组成一个向量——这就是梯度（gradient）：

$\nabla_\mathbf{x} f = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \frac{\partial f}{\partial x_2} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix} \in \mathbb{R}^n$

逐项理解：

• $\nabla_\mathbf{x} f$（读作”nabla $\mathbf{x}$ $f$“）表示 $f$ 对向量 $\mathbf{x}$ 的梯度
• 梯度的第 $i$ 个分量 $\frac{\partial f}{\partial x_i}$ 是 $f$ 对 $x_i$ 的偏导数——固定其他分量，只让 $x_i$ 变化时 $f$ 的变化率
• 梯度的形状与输入向量 $\mathbf{x}$ 相同：$\nabla_\mathbf{x} f \in \mathbb{R}^n$

几何直觉：梯度 $\nabla f$ 指向 $f$ 增长最快的方向，其长度 $\|\nabla f\|$ 等于该方向上的变化率。梯度下降 $\mathbf{x} \leftarrow \mathbf{x} - \eta \nabla f$ 沿着 $f$ 下降最快的方向更新参数。

例子：取 $f(\mathbf{x}) = \mathbf{a}^T\mathbf{x} = a_1 x_1 + a_2 x_2 + \cdots + a_n x_n$，则：

验证：$\frac{\partial}{\partial x_k}\sum_{i,j} A_{ij}x_i x_j = \sum_j A_{kj}x_j + \sum_i A_{ik}x_i = 2\sum_j A_{kj}x_j = 2(A\mathbf{x})_k$（利用了 $A = A^T$）。

第三层：向量对向量——Jacobian 矩阵

当输入和输出都是向量时——$\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m$，即 $\mathbf{f}(\mathbf{x}) = (f_1(\mathbf{x}), f_2(\mathbf{x}), \ldots, f_m(\mathbf{x}))^T$——导数变成了一个矩阵，称为 Jacobian 矩阵（雅可比矩阵）$J \in \mathbb{R}^{m \times n}$：

$J = \frac{\partial \mathbf{f}}{\partial \mathbf{x}} = \begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & \cdots & \frac{\partial f_1}{\partial x_n} \\ \frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2} & \cdots & \frac{\partial f_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial f_m}{\partial x_1} & \frac{\partial f_m}{\partial x_2} & \cdots & \frac{\partial f_m}{\partial x_n} \end{bmatrix}$

逐项理解：

• $J_{ij} = \frac{\partial f_i}{\partial x_j}$：第 $i$ 个输出对第 $j$ 个输入的偏导数
• 行的含义：$J$ 的第 $i$ 行是 $f_i$ 的梯度 $\nabla f_i^T$——标量函数 $f_i$ 对所有输入的敏感度
• 列的含义：$J$ 的第 $j$ 列告诉我们，当 $x_j$ 微小变化时，所有 $m$ 个输出如何响应
• 形状：$m$ 个输出 $\times$ $n$ 个输入 = $m \times n$ 矩阵

Jacobian 的线性近似意义：类比标量求导的近似 $f(x+\epsilon) \approx f(x) + f'(x)\epsilon$，Jacobian 给出向量函数的一阶线性近似：

$\mathbf{f}(\mathbf{x} + \boldsymbol{\epsilon}) \approx \mathbf{f}(\mathbf{x}) + J\boldsymbol{\epsilon}$

其中 $\boldsymbol{\epsilon} \in \mathbb{R}^n$ 是微小扰动。$J$ 是一个线性映射（矩阵），将输入空间的扰动映射到输出空间的变化——这正是导数的本质。

特殊情况：当 $m = 1$ 时（标量输出），$J$ 退化为 $1 \times n$ 的行向量，即梯度的转置 $\nabla f^T$。这就是第二层”标量对向量”的特例。

例子：取 $\mathbf{f}(\mathbf{x}) = A\mathbf{x}$，其中 $A \in \mathbb{R}^{m \times n}$。由于 $f_i = \sum_j A_{ij}x_j$，所以 $\frac{\partial f_i}{\partial x_j} = A_{ij}$，因此：

$J = \frac{\partial (A\mathbf{x})}{\partial \mathbf{x}} = A$

线性函数的 Jacobian 就是它自身的系数矩阵——这合理，因为线性函数的最佳线性近似就是它本身。

第四层：标量对矩阵

这是 ML 中最常见也最关键的情况：损失函数 $\mathcal{L}: \mathbb{R}^{m \times n} \to \mathbb{R}$ 以权重矩阵 $W \in \mathbb{R}^{m \times n}$ 为参数，我们需要求 $\mathcal{L}$ 对 $W$ 的导数。

定义很自然——对矩阵的每个元素分别求偏导：

$\frac{\partial \mathcal{L}}{\partial W} = \begin{bmatrix} \frac{\partial \mathcal{L}}{\partial W_{11}} & \cdots & \frac{\partial \mathcal{L}}{\partial W_{1n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial \mathcal{L}}{\partial W_{m1}} & \cdots & \frac{\partial \mathcal{L}}{\partial W_{mn}} \end{bmatrix} \in \mathbb{R}^{m \times n}$

关键性质：$\frac{\partial \mathcal{L}}{\partial W}$ 与 $W$ 同形状。这既自然又实用——梯度下降的更新规则 $W \leftarrow W - \eta \frac{\partial \mathcal{L}}{\partial W}$ 中，梯度和参数可以直接逐元素相减。

按照符号表约定，我们将损失函数对权重矩阵的梯度记为 $\nabla_W \mathcal{L} = \frac{\partial \mathcal{L}}{\partial W}$，其中 $\mathcal{L}$ 用花体 $L$ 表示损失函数。

常用公式（见 The Matrix Cookbook, Petersen & Pedersen, 2012）：

设 $\mathbf{a}, \mathbf{b}$ 为不依赖 $W$ 的向量，$A, B$ 为不依赖 $W$ 的矩阵：

1. $\frac{\partial}{\partial W}\text{tr}(AW) = A^T$

2. $\frac{\partial}{\partial W}\text{tr}(W^TAW) = (A + A^T)W$（当 $A$ 对称时 $= 2AW$）

3. $\frac{\partial}{\partial W}\text{tr}(AW B) = A^T B^T$（注意转置顺序）

4. $\frac{\partial}{\partial W}\mathbf{a}^T W \mathbf{b} = \mathbf{a}\mathbf{b}^T$

四层总结

层级	函数类型	导数名称	导数形状
标量→标量	$f: \mathbb{R} \to \mathbb{R}$	导数 $f'$	标量
向量→标量	$f: \mathbb{R}^n \to \mathbb{R}$	梯度 $\nabla f$	$\mathbb{R}^n$（与输入同形状）
向量→向量	$\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m$	Jacobian $J$	$\mathbb{R}^{m \times n}$
矩阵→标量	$\mathcal{L}: \mathbb{R}^{m \times n} \to \mathbb{R}$	矩阵梯度 $\nabla_W \mathcal{L}$	$\mathbb{R}^{m \times n}$（与输入同形状）

一个统一的观察：导数的作用总是把输入空间的微小扰动线性地映射到输出空间的变化。在标量情况下这是乘法（$\Delta y \approx f' \Delta x$），在向量情况下是矩阵-向量乘法（$\Delta \mathbf{y} \approx J \Delta \mathbf{x}$），在矩阵情况下是矩阵内积（$\Delta \mathcal{L} \approx \langle \nabla_W \mathcal{L}, \Delta W \rangle = \text{tr}(\nabla_W \mathcal{L}^T \Delta W)$）。

链式法则：矩阵形式 = 反向传播

链式法则是微积分的核心定理之一——“复合函数的导数等于各步导数的乘积”。在标量情况下它简洁优雅：

$\frac{d}{dx}f(g(x)) = f'(g(x)) \cdot g'(x)$

在向量和矩阵的世界中，链式法则推广为 Jacobian 的矩阵乘法——这正是反向传播算法的数学本质。

向量链式法则

设有复合函数 $\mathbf{h} = \mathbf{f} \circ \mathbf{g}$，即 $\mathbf{h}(\mathbf{x}) = \mathbf{f}(\mathbf{g}(\mathbf{x}))$，其中 $\mathbf{g}: \mathbb{R}^n \to \mathbb{R}^p$，$\mathbf{f}: \mathbb{R}^p \to \mathbb{R}^m$。

记 $\mathbf{z} = \mathbf{g}(\mathbf{x})$ 为中间变量，则复合函数的 Jacobian 是各步 Jacobian 的矩阵乘法：

$J_\mathbf{h} = \frac{\partial \mathbf{f}}{\partial \mathbf{x}} = \frac{\partial \mathbf{f}}{\partial \mathbf{z}} \cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}} = J_\mathbf{f} \cdot J_\mathbf{g}$

形状验证：$J_\mathbf{f} \in \mathbb{R}^{m \times p}$，$J_\mathbf{g} \in \mathbb{R}^{p \times n}$，乘积 $J_\mathbf{h} \in \mathbb{R}^{m \times n}$ ✓

逐元素展开，这就是多变量链式法则的经典形式：

$(J_\mathbf{h})_{ij} = \frac{\partial f_i}{\partial x_j} = \sum_{k=1}^{p} \frac{\partial f_i}{\partial z_k} \cdot \frac{\partial z_k}{\partial x_j}$

外层对中间变量求导，中间变量对输入求导，然后求和——对所有可能的”路径”求和。

多层网络中的链式法则

现在考虑一个 $L$ 层前馈网络。记第 $l$ 层的操作为：

$\mathbf{z}^{(l)} = W^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}, \quad \mathbf{a}^{(l)} = \phi(\mathbf{z}^{(l)})$

其中 $W^{(l)}$ 是权重矩阵，$\mathbf{b}^{(l)}$ 是偏置，$\phi$ 是逐元素激活函数，$\mathbf{a}^{(0)} = \mathbf{x}$ 是输入。最终损失 $\mathcal{L} = \ell(\mathbf{a}^{(L)}, \mathbf{y})$ 是最后一层输出与标签的比较。

要计算 $\frac{\partial \mathcal{L}}{\partial W^{(l)}}$（第 $l$ 层权重的梯度），需要沿着计算图反向传播。定义第 $l$ 层的”误差信号”：

$\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}} \in \mathbb{R}^{d_l}$

这是损失对第 $l$ 层预激活值的梯度（行向量的转置）。

反向传播公式：

第一步：从输出层开始，$\boldsymbol{\delta}^{(L)}$ 由损失函数和激活函数直接给出。

第二步：对于 $l = L-1, L-2, \ldots, 1$，误差信号从后一层向前传播：

$\boldsymbol{\delta}^{(l)} = \left({W^{(l+1)}}^T \boldsymbol{\delta}^{(l+1)}\right) \odot \phi'(\mathbf{z}^{(l)})$

逐项理解：

• ${W^{(l+1)}}^T \boldsymbol{\delta}^{(l+1)}$：将后一层的误差信号通过权重矩阵的转置”传回”当前层。这就是链式法则中 Jacobian 矩阵乘法的体现——$W^{(l+1)}$ 的 Jacobian 是 $W^{(l+1)}$ 本身，传播方向是转置
• $\odot \phi'(\mathbf{z}^{(l)})$：逐元素乘以激活函数的导数。如果 $\phi$ 是 ReLU，$\phi'(z) = \mathbb{1}[z > 0]$（通过或阻断）

第三步：有了 $\boldsymbol{\delta}^{(l)}$，权重梯度就是一个外积：

$\frac{\partial \mathcal{L}}{\partial W^{(l)}} = \boldsymbol{\delta}^{(l)} {\mathbf{a}^{(l-1)}}^T$

形状验证：$\boldsymbol{\delta}^{(l)} \in \mathbb{R}^{d_l}$，$\mathbf{a}^{(l-1)} \in \mathbb{R}^{d_{l-1}}$，外积 $\in \mathbb{R}^{d_l \times d_{l-1}}$，恰好与 $W^{(l)} \in \mathbb{R}^{d_l \times d_{l-1}}$ 同形状 ✓

关键洞察：反向传播不是一个独立的算法，它就是链式法则在计算图上的高效实现。每一步都是 Jacobian 矩阵乘法，只不过利用了网络的特殊结构（线性层的 Jacobian 是权重矩阵、逐元素激活的 Jacobian 是对角矩阵）来避免显式构造完整的 Jacobian。

为什么是”反向”？

前向传播计算 $\mathbf{x} \to \mathbf{z}^{(1)} \to \mathbf{a}^{(1)} \to \cdots \to \mathbf{a}^{(L)} \to \mathcal{L}$。

如果用”前向模式”求导（从输入到输出），每次只能计算一个输入变量对所有输出的影响——需要 $n$ 次前向传递来得到完整梯度（$n$ 是参数总数，对于现代网络可达数十亿）。

反向模式从输出（标量损失 $\mathcal{L}$）出发，一次传播就能计算 $\mathcal{L}$ 对所有参数的梯度。原因在于链式法则的结合律：

$\underbrace{\frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}}}_{\text{行向量}} \cdot \underbrace{\frac{\partial \mathbf{a}^{(L)}}{\partial \mathbf{z}^{(L)}}}_{\text{矩阵}} \cdot \underbrace{\frac{\partial \mathbf{z}^{(L)}}{\partial \mathbf{a}^{(L-1)}}}_{\text{矩阵}} \cdots$

从左到右（反向模式）：每步都是行向量乘矩阵，得到行向量——$O(d^2)$。 从右到左（前向模式）：每步是矩阵乘矩阵——$O(d^3)$。

当输出是标量（$m = 1$，如损失函数）而输入维度很高（$n \gg 1$，如网络参数）时，反向模式的效率远优于前向模式。这就是为什么深度学习用”反向”传播。

Hessian 矩阵与损失曲面的几何

梯度告诉我们损失曲面在某一点的”坡度”——往哪个方向走下降最快。但梯度不告诉我们坡度本身在怎么变化：前方是继续变陡还是趋于平坦？曲面是碗状的还是鞍形的？

要回答这些问题，我们需要二阶导数信息——Hessian 矩阵。

定义

对标量函数 $f: \mathbb{R}^n \to \mathbb{R}$，Hessian 矩阵（黑塞矩阵）$H \in \mathbb{R}^{n \times n}$ 定义为二阶偏导数构成的矩阵：

$H = \nabla^2 f = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}$

逐项理解：

• $H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}$：先对 $x_j$ 求导，再对 $x_i$ 求导
• 如果 $f$ 的二阶偏导连续（在 ML 的场景中通常成立），则 $\frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i}$（Schwarz 定理），所以 $H$ 是对称矩阵
• Hessian 的第 $i$ 行（或列）是梯度第 $i$ 个分量的梯度——$H$ 是”梯度的 Jacobian”

与梯度的关系：梯度 $\nabla f$ 是一阶导数（$n$ 维向量），Hessian $H$ 是梯度的导数（$n \times n$ 矩阵）：

$H = J_{\nabla f} = \frac{\partial (\nabla f)}{\partial \mathbf{x}}$

Hessian 与二次型

Hessian 的几何意义通过二次型（quadratic form）体现。对于对称矩阵 $H \in \mathbb{R}^{n \times n}$ 和向量 $\mathbf{d} \in \mathbb{R}^n$，二次型定义为：

$Q(\mathbf{d}) = \mathbf{d}^T H \mathbf{d} = \sum_{i=1}^{n}\sum_{j=1}^{n} H_{ij} d_i d_j$

这个标量值 $Q(\mathbf{d})$ 衡量了沿方向 $\mathbf{d}$ 的曲率。直觉上：

• 如果 $Q(\mathbf{d}) > 0$：函数沿方向 $\mathbf{d}$ 向上弯曲（碗底形状）
• 如果 $Q(\mathbf{d}) < 0$：函数沿方向 $\mathbf{d}$ 向下弯曲（山顶形状）
• 如果 $Q(\mathbf{d}) = 0$：函数沿方向 $\mathbf{d}$ 局部平坦（无曲率）

当 $\mathbf{d}$ 是单位向量（$\|\mathbf{d}\| = 1$）时，$\mathbf{d}^T H \mathbf{d}$ 就是函数在方向 $\mathbf{d}$ 上的方向曲率。

正定性与极值条件

根据二次型的符号，我们将对称矩阵分为三类：

类别	条件	几何含义
正定（positive definite）	对所有 $\mathbf{d} \neq \mathbf{0}$，$\mathbf{d}^T H \mathbf{d} > 0$	所有方向曲率为正——碗底
负定（negative definite）	对所有 $\mathbf{d} \neq \mathbf{0}$，$\mathbf{d}^T H \mathbf{d} < 0$	所有方向曲率为负——山顶
不定（indefinite）	存在 $\mathbf{d}_1, \mathbf{d}_2$ 使 $\mathbf{d}_1^T H \mathbf{d}_1 > 0$ 且 $\mathbf{d}_2^T H \mathbf{d}_2 < 0$	某些方向上升、某些方向下降——鞍点

与极值的关系（二阶充分条件）：

如果 $\nabla f(\mathbf{x}^*) = \mathbf{0}$（一阶必要条件：驻点）且 $H(\mathbf{x}^*)$ 正定，则 $\mathbf{x}^*$ 是严格局部极小值。

如果 $\nabla f(\mathbf{x}^*) = \mathbf{0}$ 且 $H(\mathbf{x}^*)$ 负定，则 $\mathbf{x}^*$ 是严格局部极大值。

如果 $\nabla f(\mathbf{x}^*) = \mathbf{0}$ 且 $H(\mathbf{x}^*)$ 不定，则 $\mathbf{x}^*$ 是鞍点。

判定正定性的一个等价条件：$H$ 正定当且仅当 $H$ 的所有特征值为正。这连接了 Hessian 分析与 Art. 2 特征分解 中的特征分解。

特征分解 = 主曲率方向

由于 $H$ 是实对称矩阵，Art. 2 特征分解 的谱定理保证它可以正交对角化：

$H = Q \Lambda Q^T = \sum_{i=1}^{n} \lambda_i \mathbf{q}_i \mathbf{q}_i^T$

其中 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n$ 是特征值，$\mathbf{q}_1, \ldots, \mathbf{q}_n$ 是对应的正交特征向量。

在这组正交基下，二次型变得极其简单。令 $\mathbf{d} = \sum_i c_i \mathbf{q}_i$（在特征基下展开），则：

$\mathbf{d}^T H \mathbf{d} = \sum_{i=1}^{n} \lambda_i c_i^2$

每个特征方向 $\mathbf{q}_i$ 的贡献完全独立，权重就是对应的特征值 $\lambda_i$。

几何意义：

• $\mathbf{q}_i$ 是第 $i$ 个主曲率方向——沿着 $\mathbf{q}_i$ 运动时，曲面的弯曲程度由 $\lambda_i$ 决定
• $\lambda_i > 0$ 且大：沿 $\mathbf{q}_i$ 方向曲率大，曲面弯曲剧烈——函数在这个方向上变化很快
• $\lambda_i > 0$ 且小：沿 $\mathbf{q}_i$ 方向曲率小，曲面几乎平坦——函数在这个方向上变化缓慢
• $\lambda_i < 0$：沿 $\mathbf{q}_i$ 方向曲面向下弯——这个方向不是极小

这给出了损失曲面等高线形状的精确描述。在正定的情况下（局部极小值附近），等高线 $\{\mathbf{x}: \mathbf{x}^T H \mathbf{x} = c\}$ 是椭球面，椭球的半轴方向就是特征向量 $\mathbf{q}_i$，半轴长度正比于 $1/\sqrt{\lambda_i}$。

用下面的交互组件感受 Hessian 特征值如何决定等高线形状：

损失曲面等高线与 Hessian 特征方向

Hessian 的特征向量 = 主曲率方向，特征值 = 曲率大小

良条件 (圆形)病态 (扁椭圆)鞍点

Hessian 类型: 正定（局部极小）

κ(H) = 1.2

λ₁ = 2.40 (陡峭)

λ₂ = 2.00 (平坦)

两个特征值相近 → 等高线接近圆形 → 梯度下降收敛快

与条件数的联系：上一篇中我们定义了条件数 $\kappa(A) = \sigma_{\max}/\sigma_{\min}$。对于正定 Hessian，奇异值就是特征值（都为正），所以：

$\kappa(H) = \frac{\lambda_{\max}}{\lambda_{\min}}$

• $\kappa(H) \approx 1$：等高线接近圆形，梯度下降收敛快——所有方向的曲率相近
• $\kappa(H) \gg 1$：等高线是扁椭圆，梯度下降在窄谷中震荡——大曲率方向需要小步长，小曲率方向又收敛太慢。这就是梯度下降在高条件数损失曲面上表现差的根本原因，也是 Adam、L-BFGS 等自适应/二阶优化器存在的理由

矩阵 Taylor 展开

在标量微积分中，Taylor 展开是将函数局部近似为多项式的核心工具：

$f(x + \Delta x) \approx f(x) + f'(x)\Delta x + \frac{1}{2}f''(x)(\Delta x)^2$

矩阵微积分的 Taylor 展开将这个思想推广到矩阵参数。

向量情形

对于 $f: \mathbb{R}^n \to \mathbb{R}$，在点 $\mathbf{x}$ 处展开到二阶：

矩阵情形

当参数是矩阵 $W \in \mathbb{R}^{m \times n}$ 时，Taylor 展开变为：

$\mathcal{L}(W + \Delta W) \approx \mathcal{L}(W) + \text{tr}\!\left(\nabla_W \mathcal{L}^T \, \Delta W\right) + \frac{1}{2}\,\text{vec}(\Delta W)^T H \,\text{vec}(\Delta W)$

逐项理解：

• $\mathcal{L}(W)$：当前损失——零阶项
• $\text{tr}(\nabla_W \mathcal{L}^T \, \Delta W)$：梯度与扰动的矩阵内积——一阶项。这里用到了 上一篇 定义的矩阵内积 $\langle A, B \rangle = \text{tr}(A^T B)$。直觉：将 $\nabla_W \mathcal{L}$ 和 $\Delta W$ 都看成 $mn$ 维向量做点积
• $\frac{1}{2}\text{vec}(\Delta W)^T H\,\text{vec}(\Delta W)$：Hessian 的二次型——二阶项。这里 $\text{vec}(\Delta W) \in \mathbb{R}^{mn}$ 是将矩阵 $\Delta W$ 按列拉成向量的操作（vectorization），而 $H \in \mathbb{R}^{mn \times mn}$ 是对 $\text{vec}(W)$ 的完整 Hessian

注意 Hessian $H$ 的大小是 $mn \times mn$——对于一个 $1000 \times 1000$ 的权重矩阵，$H$ 有 $10^{12}$ 个元素，在实践中无法显式存储。这就是为什么一阶方法（SGD、Adam）在深度学习中占主导——它们只需要梯度 $\nabla_W \mathcal{L}$（$mn$ 个数），而非完整的 Hessian（$m^2n^2$ 个数）。

推导：从 vec 形式回到矩阵形式

上面的 $\text{tr}(\nabla_W \mathcal{L}^T \, \Delta W)$ 一阶项并非凭空出现，让我们推导它。

将 $W$ 展平为向量 $\mathbf{w} = \text{vec}(W) \in \mathbb{R}^{mn}$，标量函数 $\mathcal{L}$ 的向量梯度为 $\nabla_\mathbf{w} \mathcal{L} \in \mathbb{R}^{mn}$。标准 Taylor 展开的一阶项为：

$\nabla_\mathbf{w}\mathcal{L}^T \, \text{vec}(\Delta W)$

现在利用一个关键等式：对任意两个同形状矩阵 $A, B$，有

$\text{vec}(A)^T \text{vec}(B) = \text{tr}(A^T B)$

这就是矩阵内积的 vec 形式。因此一阶项可写成 $\text{tr}(\nabla_W\mathcal{L}^T \, \Delta W)$，比 vec 形式更紧凑也更有物理直觉。

数值例子

用一个具体的二维损失函数把前面的概念串起来。取：

$\mathcal{L}(w_1, w_2) = 3w_1^2 + 2w_1 w_2 + 2w_2^2$

这是一个参数向量 $\mathbf{w} = (w_1, w_2)^T$ 上的二次损失函数。

第一步：梯度

$\nabla \mathcal{L} = \begin{bmatrix} \frac{\partial \mathcal{L}}{\partial w_1} \\ \frac{\partial \mathcal{L}}{\partial w_2} \end{bmatrix} = \begin{bmatrix} 6w_1 + 2w_2 \\ 2w_1 + 4w_2 \end{bmatrix}$

在点 $\mathbf{w} = (1, 1)^T$：$\nabla \mathcal{L} = (8, 6)^T$。梯度下降会沿 $(-8, -6)$ 方向更新。

验证：$\nabla \mathcal{L} = \mathbf{0}$ 当且仅当 $6w_1 + 2w_2 = 0$ 且 $2w_1 + 4w_2 = 0$，唯一解为 $\mathbf{w}^* = (0, 0)^T$——原点是唯一驻点。

第二步：Hessian

$H = \begin{bmatrix} \frac{\partial^2 \mathcal{L}}{\partial w_1^2} & \frac{\partial^2 \mathcal{L}}{\partial w_1 \partial w_2} \\ \frac{\partial^2 \mathcal{L}}{\partial w_2 \partial w_1} & \frac{\partial^2 \mathcal{L}}{\partial w_2^2} \end{bmatrix} = \begin{bmatrix} 6 & 2 \\ 2 & 4 \end{bmatrix}$

对于二次函数，Hessian 是常数矩阵——曲率处处相同。

第三步：特征分解

$H$ 的特征值：

$\det(H - \lambda I) = (6 - \lambda)(4 - \lambda) - 4 = \lambda^2 - 10\lambda + 20 = 0$

$\lambda = \frac{10 \pm \sqrt{100 - 80}}{2} = \frac{10 \pm \sqrt{20}}{2} = 5 \pm \sqrt{5}$

$\lambda_1 = 5 + \sqrt{5} \approx 7.24, \quad \lambda_2 = 5 - \sqrt{5} \approx 2.76$

两个特征值都为正，所以 $H$ 正定 → 原点是严格局部极小值（也是全局极小值，因为二次函数只有一个驻点）。

条件数：

$\kappa(H) = \frac{\lambda_1}{\lambda_2} = \frac{5 + \sqrt{5}}{5 - \sqrt{5}} = \frac{(5+\sqrt{5})^2}{25 - 5} = \frac{30 + 10\sqrt{5}}{20} = \frac{3 + \sqrt{5}}{2} \approx 2.62$

条件数约为 2.62，属于良好条件——等高线是中等偏心率的椭圆，梯度下降收敛合理。

特征向量：对 $\lambda_1 = 5 + \sqrt{5}$：

$(H - \lambda_1 I)\mathbf{q}_1 = \mathbf{0} \Rightarrow \begin{bmatrix} 1 - \sqrt{5} & 2 \\ 2 & -1 - \sqrt{5} \end{bmatrix}\mathbf{q}_1 = \mathbf{0}$

取 $\mathbf{q}_1 \propto (2, \sqrt{5} - 1)^T$，归一化后 $\mathbf{q}_1 \approx (0.851, 0.526)^T$。这是最大曲率方向——等高线椭圆的短轴方向。

类似地，$\mathbf{q}_2 \approx (-0.526, 0.851)^T$ 是最小曲率方向——等高线椭圆的长轴方向。

第四步：Taylor 展开验证

在原点（$\mathbf{w} = \mathbf{0}$，$\mathcal{L}(0,0) = 0$，$\nabla \mathcal{L} = \mathbf{0}$）处展开：

$\mathcal{L}(\Delta \mathbf{w}) \approx 0 + \mathbf{0}^T \Delta \mathbf{w} + \frac{1}{2}\Delta \mathbf{w}^T H \Delta \mathbf{w} = \frac{1}{2}\Delta \mathbf{w}^T H \Delta \mathbf{w}$

取 $\Delta \mathbf{w} = (1, 1)^T$：

$\frac{1}{2}(1, 1)\begin{bmatrix}6 & 2 \\ 2 & 4\end{bmatrix}\begin{pmatrix}1\\1\end{pmatrix} = \frac{1}{2}(1,1)\begin{pmatrix}8\\6\end{pmatrix} = \frac{1}{2}(8 + 6) = 7$

直接计算：$\mathcal{L}(1, 1) = 3(1)^2 + 2(1)(1) + 2(1)^2 = 3 + 2 + 2 = 7$ ✓

对于二次函数，Taylor 展开是精确的（没有高阶项），所以这里”近似”恰好等于精确值。

从 Hessian 到 Intrinsic Dimensionality

Hessian 的特征分解不仅揭示了损失曲面的局部几何，更连接到一个深远的现象——intrinsic dimensionality（内在维度）。

关键观察

对于一个有 $D$ 个参数的神经网络（$D$ 可达数百万甚至数十亿），损失曲面的 Hessian $H \in \mathbb{R}^{D \times D}$ 的特征值分布极不均匀：

• 大部分特征值接近零——对应的方向几乎平坦，沿这些方向移动几乎不改变损失
• 只有少数特征值显著为正——对应的方向有明显曲率

这意味着尽管参数空间是 $D$ 维的，损失曲面的”有效维度”远小于 $D$。

Li et al. (2018) 的度量

Li et al. (2018) 在”Measuring the Intrinsic Dimension of Objective Landscapes”中正式定义并量化了这一现象。他们的方法是：

1. 将参数向量 $\boldsymbol{\theta} \in \mathbb{R}^D$ 限制在一个随机子空间中：$\boldsymbol{\theta} = \boldsymbol{\theta}_0 + P\mathbf{d}$，其中 $P \in \mathbb{R}^{D \times d}$ 是随机投影矩阵，$\mathbf{d} \in \mathbb{R}^d$ 是低维参数
2. 只优化 $\mathbf{d}$（$d \ll D$），观察能否达到接近全参数优化的性能
3. intrinsic dimension $d_{\text{int}}$ 是能达到原始性能 90% 所需的最小子空间维度 $d$

他们的实验结果令人惊讶：

• MNIST 上一个有 $D \approx 650,000$ 参数的网络，$d_{\text{int}} \approx 750$——只需要 0.1% 的维度
• CIFAR-10 上全连接网络的 $d_{\text{int}}$ 同样远低于参数总数

与 Hessian 的联系

intrinsic dimensionality 与 Hessian 特征谱直接相关。Hessian 的大特征值方向是损失变化敏感的方向——这些方向上的参数调整”重要”。小特征值（接近零）方向是冗余的——沿这些方向移动几乎不影响损失。

如果 Hessian 只有 $k$ 个显著特征值（$k \ll D$），那么有效优化只需要在这 $k$ 个方向上进行——intrinsic dimension $d_{\text{int}} \approx k$。

连接 LoRA

这个发现为 LoRA（Art. 24）提供了理论基础。LoRA 的核心思想是：微调时不更新完整的权重矩阵 $W \in \mathbb{R}^{m \times n}$，而是限制更新量为低秩：

$\Delta W = BA, \quad B \in \mathbb{R}^{m \times r}, \; A \in \mathbb{R}^{r \times n}, \; r \ll \min(m,n)$

为什么低秩更新就够了？正是因为：

1. 损失曲面的 Hessian 只有少数几个大特征值方向有显著曲率
2. 这意味着权重空间中”重要”的变化方向是低维的
3. 秩为 $r$ 的 $\Delta W$ 在 $mn$ 维参数空间中张成一个 $r(m+n-r)$ 维子空间
4. 只要这个子空间覆盖了 Hessian 的大特征值方向，微调就能有效进行

这是一条从 Hessian 特征分解出发，经由 intrinsic dimensionality，最终解释 LoRA 有效性的理论链条。我们将在 Art. 24 LoRA 中深入展开。

总结与展望

本文建立了矩阵微积分的完整框架——六类矩阵操作中的第三件工具”微分”。回顾关键要点：

• 求导的四个层级：标量→标量（导数）、向量→标量（梯度 $\nabla f \in \mathbb{R}^n$）、向量→向量（Jacobian $J \in \mathbb{R}^{m \times n}$）、矩阵→标量（矩阵梯度 $\nabla_W \mathcal{L}$，与 $W$ 同形状）
• 链式法则的矩阵形式：复合函数的 Jacobian 是各步 Jacobian 的矩阵乘积 $J_\mathbf{h} = J_\mathbf{f} \cdot J_\mathbf{g}$。反向传播是链式法则从输出到输入的高效实现，利用了标量输出 + 高维参数的结构特点
• Hessian 矩阵：二阶导数构成的对称矩阵 $H$，通过二次型 $\mathbf{d}^T H \mathbf{d}$ 刻画各方向的曲率。$H$ 正定 $\iff$ 局部极小，$H$ 不定 $\iff$ 鞍点
• Hessian 特征分解 = 主曲率方向：特征向量是等高线椭球的半轴方向，特征值是对应方向的曲率大小。条件数 $\kappa(H) = \lambda_{\max}/\lambda_{\min}$ 衡量梯度下降的收敛难度
• 矩阵 Taylor 展开：$\mathcal{L}(W + \Delta W) \approx \mathcal{L}(W) + \text{tr}(\nabla \mathcal{L}^T \Delta W) + \frac{1}{2}\text{vec}(\Delta W)^T H\,\text{vec}(\Delta W)$
• Intrinsic dimensionality：实际损失曲面的 Hessian 只有少数大特征值——有效优化维度远低于参数总数——这是 LoRA 有效的理论根基

至此，Part 1 “拆”的核心数学工具已经齐备：分解（特征分解 + SVD）、度量（范数 + 条件数）、微分（梯度 + Hessian）。但有了地图不等于会走路——下一篇将学习优化算法（梯度下降、牛顿法、SGD），把这些微积分工具变成实际求解损失最小值的行进路线。