矩阵数学：从基础理论到现代 AI 架构

矩阵是 ML 的通用语言。本路径从特征分解出发，建立四件核心工具（分解、度量、微分、迭代）， 经 SVD、PCA、NMF 等经典分解方法和 PageRank、谱聚类等算子分析方法， 最终汇聚到 LoRA、Efficient Attention、SSM/Mamba 等现代架构。 三段式弧线"拆→传→汇"揭示同一数学工具如何贯穿看似不同的领域。

1. 1

   矩阵数学全景图：ML 的通用语言

   高级

   #matrix-math#linear-algebra#overview
2. 2

   核心性质速查：概念关系图与公式速查表

   高级

   #matrix-math#linear-algebra#cheatsheet
3. 3

   数据矩阵分解概述：问题、工具与方法谱系

   高级

   #matrix-math#decomposition#overview
4. 4

   向量空间的几何：内积、投影、秩与子空间

   高级

   #matrix-math#inner-product#projection#rank#null-space#orthogonality
5. 5

   矩阵结构的几何：二次型、正定性与协方差

   高级

   #matrix-math#quadratic-form#positive-definite#covariance#gram-matrix#trace#determinant
6. 6

   特征分解与对角化：万物之基

   高级

   #matrix-math#eigendecomposition#diagonalization#spectral-theorem
7. 7

   奇异值分解：核心中的核心

   高级

   #matrix-math#svd#low-rank-approximation#pseudoinverse#eckart-young
8. 8

   矩阵范数、内积与条件数：度量的艺术

   高级

   #matrix-math#norms#condition-number#inner-product#frobenius#spectral#nuclear
9. 9

   矩阵微积分：从 Jacobian 到损失曲面

   高级

   #matrix-math#calculus#jacobian#hessian#backpropagation#loss-surface#taylor-expansion
10. 10

    优化算法：从梯度下降到牛顿法

    高级

    #matrix-math#optimization#gradient-descent#newton-method#sgd#convergence
11. 11

    PCA 与 Eigenfaces：从方差最大化到人脸识别

    高级

    #matrix-math#pca#eigenfaces#dimensionality-reduction#covariance-matrix#svd
12. 12

    随机化 SVD：当精确分解算不动的时候

    高级

    #matrix-math#randomized-svd#johnson-lindenstrauss#random-projection#low-rank-approximation
13. 13

    矩阵补全：从极少观测恢复低秩矩阵

    高级

    #matrix-math#matrix-completion#nuclear-norm#convex-relaxation#incoherence#low-rank
14. 14

    NMF：非负约束下的 Parts-Based 分解

    高级

    #matrix-math#nmf#non-negative-matrix-factorization#parts-based#topic-modeling
15. 15

    MF 与 FM：协同过滤的矩阵分解视角

    高级

    #matrix-math#matrix-factorization#factorization-machines#recommender-systems#collaborative-filtering
16. 16

    Word2Vec 与 GloVe：隐式 vs 显式矩阵分解

    高级

    #matrix-math#word2vec#glove#pmi#word-embeddings#implicit-factorization
17. 17

    Robust PCA：低秩 + 稀疏分解

    高级

    #matrix-math#robust-pca#low-rank#sparse#nuclear-norm#convex-optimization#principal-component-pursuit
18. 18

    张量分解与知识图谱嵌入：从二维到高阶

    高级

    #matrix-math#tensor-decomposition#knowledge-graph#CP-decomposition#Tucker-decomposition#DistMult#ComplEx
19. 19

    算子矩阵全景：当矩阵不再装数据

    高级

    #matrix-math#operator#markov#laplacian#kernel#overview
20. 20

    马尔可夫链与转移矩阵：当矩阵编码概率

    高级

    #matrix-math#markov-chains#transition-matrix#perron-frobenius#mixing-time
21. 21

    隐马尔可夫模型：当状态看不见

    高级

    #matrix-math#hmm#hidden-markov-model#forward-backward#viterbi#baum-welch
22. 22

    连续时间线性系统与 Kalman 滤波：从离散步进到平滑流动

    高级

    #matrix-math#linear-systems#kalman-filter#matrix-exponential#state-space#continuous-time#discretization
23. 23

    PageRank 与幂迭代：图上的马尔可夫链

    高级

    #matrix-math#pagerank#power-iteration#markov-chains#spectral-gap
24. 24

    随机游走与图嵌入：DeepWalk/Node2Vec

    高级

    #matrix-math#random-walk#graph-embedding#deepwalk#node2vec#transition-matrix
25. 25

    Kernel 矩阵与再生核：数据定义的给定算子

    高级

    #matrix-math#kernel#mercer-theorem#kernel-pca#gaussian-process#rkhs
26. 26

    图 Laplacian 与谱聚类：从图结构到最优分割

    高级

    #matrix-math#graph-laplacian#spectral-clustering#fiedler-vector#graph-partitioning
27. 27

    图扩散、热核与 GNN 消息传递：从热方程到图神经网络

    高级

    #matrix-math#graph-diffusion#heat-kernel#gnn#message-passing#graph-laplacian#gcn
28. 28

    学习算子中的低秩结构：为什么神经网络权重是低秩的？

    高级

    #matrix-math#learned-operator#low-rank#intrinsic-dimension#lora#overview
29. 29

    LoRA：低秩分解在 LLM 微调中的应用

    高级

    #matrix-math#lora#low-rank#fine-tuning#parameter-efficient#qlora
30. 30

    Attention 的低秩结构与 Efficient Attention

    高级

    #matrix-math#attention#low-rank#linformer#performer#efficient-attention#kernel
31. 31

    SSM / Mamba：矩阵对角化的胜利

    高级

    #matrix-math#ssm#mamba#hippo#diagonalization#state-space#s4#selective-ssm