线性代数

第一章 行列式

1. 二阶行列式

主对角线 - 副对角线

2. 三角形法则计算行列式

元首得到 1

• 加倍性质：某一行或列的倍数加到另一行或列，行列式值不变
• 提公因子：某一行或列的公因子可以提到行列式外边
• 交换行列：交换两行或列，行列式变号

特殊例子：

x  a  a
a  x  a
a  a  x

(r1+r2+r3) 再提公因式，元首便可得到 1

3. 范德蒙行列式

三阶

1    1    1
x₁  x₂  x₃
x₁² x₂² x₃²

c₂ - c₁、c₃ - c₁ → c₂、c₃ 分别提取公因式 → c₃ - c₂

总结：范德蒙行列式 = 公比元素做差再相乘

$$\prod _{1\le i<j\le n}(x_j-x_i)$$

4. 爪型行列式

特点：

• 第一行第一列为 1
• 对角线元素有值
• 其余元素为 0

a₁   1    1    1
1    a₂   1    1
1    1    a₃   1
1    1    1    a₄

D 的第 2 - n 行提公因式使得对角线元素为 1：

a₁              1    1    1
1/a₂            1    0    0
1/a₃            0    1    0
1/a₄            0    0    1

化为上三角形：

a₁-1/a₂-1/a₃-1/a₄   0    0    0
1/a₂                1    0    0
1/a₃                0    1    0
1/a₄                0    0    1

结论：

$$D=a_2{a}_3{a}_4\cdot (a_1-\frac{1}{a_2}-\frac{1}{a_3}-\frac{1}{a_4})$$

5. 余子式与代数余子式

5.1 余子式 $M_{ij}$

定义：$n$ 阶行列式中，划去元素 $a_{ij}$ 所在的第 $i$ 行、第 $j$ 列，剩余元素构成的 $(n-1)$ 阶行列式。

示例：3 阶

$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|$$

$a_{21}$ 的余子式：

$$M_{21}=\left|\begin{array}{cc}{a}_{12}& a_{13}\\ a_{32}& a_{33}\end{array}\right|$$

5.2 代数余子式 $A_{ij}$

定义：余子式乘以符号因子 $(-1{)}^{i+j}$，即

$$A_{ij}=(-1{)}^{i+j}{M}_{ij}$$

示例：

$$A_{22}=(-1{)}^{2+2}\cdot M_{22}=\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{31}& a_{33}\end{array}\right|$$

5.3 行列式展开定理

任意行或列：$D=\sum$ 任意一行（列）元素 × 对应代数余子式

替换法：根据这个定理，逆向思维。要求代数余子式的和，可用系数替换原本行列式的元素，计算行列式的值就是答案。

5.4 拆和法

某行元素是加和形式，可以拆为两个行列式之和。

注意：当行列式两行或列成比例，行列式值为 0。

5.5 拉普拉斯展开

核心：降阶（按某一行或列展开）

第二章 矩阵

1. 矩阵的基本运算

1.1 加法

• 同行同列元素相加
• 满足交换律、结合律
• 单位元是零矩阵 $O$

1.2 数乘

$$kA=(k{a}_{ij}{)}_{m\times n}$$

满足：$k(A+B)=kA+kB$、$(k+l)A=kA+lA$

1.3 转置

定义：$(A^T{)}_{ij}=A_{ji}$

性质：

• $(A^T{)}^T=A$
• $(A+B{)}^T=A^T+B^T$
• $(kA{)}^T=k{A}^T$
• $(AB{)}^T=B^T{A}^T$（注意顺序反转）
• $(A_1{A}_2\cdots A_k{)}^T=A_k^T\cdots A_2^T{A}_1^T$

2. 特殊矩阵

2.1 对称矩阵

$A^T=A$（关于主对角线对称）

2.2 反对称矩阵

$A^T=-A$，对角线元素全为 0

2.3 分块矩阵

将矩阵分成若干子块，按块进行运算。简化大矩阵分析。

3. 矩阵乘法

$$A_{ab}\cdot B_{bc}=C_{ac}$$

• 合法性：内标相等（$A$ 的列数 = $B$ 的行数）
• 不满足交换律 $AB\ne BA$
• 满足结合律 $(AB)C=A(BC)$
• 满足分配律 $A(B+C)=AB+AC$

4. 求逆矩阵

4.1 凑定义法

$A\cdot B=E$ → $A$ 与 $B$ 互逆

4.2 长除法

$$(\text{左})\cdot (\text{右})+(\text{系数})E=0$$

化为 $(\text{左})\cdot (\text{右})=E$，那两个括号里的就是互逆矩阵。

稳妥点就用长除法。

4.3 初等行变换法（通法）

$$(A\mid E)\stackrel{\text{多次行变换}}{\to }(E\mid A^{-1})$$

4.4 二阶秒杀法

$$A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right),A^{-1}=\frac{1}{|A|}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$$

即：主对角线对调，副对角线变号

5. 求解矩阵方程

5.1 三种形式

1. $AX=B$
2. $XA=B$
3. $AXB=C$

5.2 伴随矩阵 $A^{\ast }$

$$A^{\ast }=|A|\cdot A^{-1}$$$$A{A}^{\ast }=A^{\ast }A=|A|\cdot E$$

6. 方阵的行列式

6.1 基本性质

• $det(A^T)=det(A)$（转置相等）
• $det(kA)=k^{n}det(A)$（数乘，$n$ 为阶数）
• 交换行/列：$det(B)=-det(A)$
• 行/列成比例：$det(A)=0$
• 行/列倍加：$det(B)=det(A)$

6.2 特殊方阵

• 单位矩阵：$det(E_n)=1$
• 对角/上/下三角矩阵：$det(A)=a_{11}{a}_{22}\cdots a_{nn}$（主对角线乘积）
• 可逆矩阵：$det(A^{-1})=\frac{1}{det(A)}$（$det(A)\ne 0$）
• 伴随矩阵：$det(A^{\ast })=[det(A){]}^{n-1}$

6.3 矩阵乘积

$$det(AB)=det(A)\cdot det(B)$$

可推广到多个同阶方阵。

7. 矩阵的秩

7.1 核心定义

矩阵的秩 = 其非零子式的最高阶数（记为 $r(A)$）

推论：$r(A)\le min(\text{矩阵行数},\text{矩阵列数})$

7.2 关键性质

• 秩的不变性：$r(A)=r(A^T)=r(kA)$（$k\ne 0$）
• 秩的不等式：
  • $r(A+B)\le r(A)+r(B)$
  • $r(AB)\le min(r(A),r(B))$
• 可逆矩阵：若 $P,Q$ 可逆，则 $r(PAQ)=r(A)$（初等变换不改变秩）

7.3 特殊矩阵的秩

• 零矩阵：$r(O)=0$
• 满秩矩阵（方阵）：$r(A)=n⟺det(A)\ne 0⟺A$ 可逆
• 列满秩矩阵：$r(A)=\text{列数}$
• 行满秩矩阵：$r(A)=\text{行数}$

第三章 向量组的线性相关性

1. 线性组合与线性表示

1.1 线性组合

向量 $\beta$ 是向量组 ${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_m$ 的线性组合，如果存在一组数 $k_1,k_2,\dots ,k_m$ 使：

$$\beta =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_m{\alpha }_m$$

1.2 线性表示

如果一个向量可由向量组线性表出，称为该向量可由向量组线性表示。

2. 线性相关与线性无关

2.1 定义

线性相关：存在不全为零的 $k_1,k_2,\dots ,k_m$，使

$$k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_m{\alpha }_m=0$$

线性无关：仅当 $k_1=k_2=\cdots =k_m=0$ 时，上式才成立。

2.2 判定方法

数字型判定：

• 向量成比例 → 线性相关
• 行列式 = 0 → 线性相关
• 秩 < $m$（向量个数）→ 线性相关
• 秩 = $m$ → 线性无关

抽象型判定：

• 抽象向量组的表示：逆向思维构造出行列式 $C$（$C=0$ → 线性相关）
• 无关组 × 可逆阵 = 无关
• 无关组 × 不可逆阵 = 相关

3. 向量组的秩与极大无关组

3.1 秩

$r({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_m)$ = 阶梯形矩阵非零行的个数

3.2 极大线性无关组

定义：向量组中含有线性无关向量最多的部分组（保留"信息量最大"的部分）

求法：阶梯形矩阵中，阶梯拐弯处所在列对应的向量就是极大无关组。

性质：

• 极大无关组不唯一
• 但向量组的秩唯一
• 极大无关组所含向量个数 = 向量组的秩

4. 向量空间（拓展）

4.1 基本概念

• 基：向量空间的一个极大线性无关组
• 维数：基所含向量的个数
• 坐标：向量在基下的表示系数

4.2 例子

• ${\mathbb{R}}^n$ 的标准基：$e_1,e_2,\dots ,e_n$
• 维数 = $n$

第四章 线性方程组

1. 基本形式

1.1 齐次方程组

$$A_{m\times n}x=0$$

1.2 非齐次方程组

$$A_{m\times n}x=b$$

2. 解的判定

2.1 齐次方程组 $Ax=0$

• $r(A)=n$（未知数个数）→ 只有零解
• $r(A)<n$ → 有非零解，且有无穷多解

2.2 非齐次方程组 $Ax=b$

设增广矩阵 $\overline{A}=(A\mid b)$：

$r(A)$ vs $r(\overline{A})$	解的情况
$r(A)=r(\overline{A})=n$	唯一解
$r(A)=r(\overline{A})<n$	无穷多解
$r(A)\ne r(\overline{A})$	无解

3. 克拉默法则（特殊情形）

当 $m=n$ 且 $det(A)\ne 0$ 时：

$$x_j=\frac{det(A_j)}{det(A)}$$

其中 $A_j$ 是把 $A$ 的第 $j$ 列替换为 $b$ 得到的矩阵。

局限：仅适用于 $n$ 元 $n$ 个方程、系数矩阵可逆的情形。

4. 基础解系

4.1 概念

对于齐次方程组 $Ax=0$，当 $r(A)<n$ 时有无穷多解。基础解系是解集合的极大无关组。

4.2 基础解系所含向量个数

$$n-r(A)$$

4.3 构造方法

将系数矩阵化为行最简阶梯形，拐弯处列向量对应的自由变量取 $0$ 或 $1$，得到基础解系。

5. 通解结构

5.1 齐次方程组

设 ${\xi }_1,{\xi }_2,\dots ,{\xi }_{n-r}$ 是基础解系，则通解为：

$$x=k_1{\xi }_1+k_2{\xi }_2+\cdots +k_{n-r}{\xi }_{n-r}$$

（$k_i$ 为任意常数）

5.2 非齐次方程组

设 ${\eta }^{\ast }$ 是一个特解，${\xi }_1,{\xi }_2,\dots ,{\xi }_{n-r}$ 是对应齐次方程组的基础解系，则通解为：

$$x={\eta }^{\ast }+k_1{\xi }_1+k_2{\xi }_2+\cdots +k_{n-r}{\xi }_{n-r}$$

核心思想：非齐次通解 = 一个特解 + 齐次通解

6. 高斯消元法

求解线性方程组的标准方法：

1. 写出增广矩阵 $\overline{A}=(A\mid b)$
2. 通过初等行变换化为行阶梯形
3. 判读解的情况（唯一/无穷/无解）
4. 若有解，化为行最简形
5. 写出通解

第五章 特征值与特征向量

1. 基本概念

定义：设 $A$ 是 $n$ 阶方阵，若存在数 $\lambda$ 和非零向量 $x$，使

$$Ax=\lambda x$$

成立，则称 $\lambda$ 是 $A$ 的特征值，$x$ 是 $A$ 的对应于 $\lambda$ 的特征向量。

直观：$A$ 作用在 $x$ 上不改变方向，只拉伸（缩短）$\lambda$ 倍。

2. 特征方程

由 $Ax=\lambda x$ 推出 $(\lambda E-A)x=0$，因 $x\ne 0$，所以：

$$det(\lambda E-A)=0$$

这个方程称为 $A$ 的特征方程。展开得到一个关于 $\lambda$ 的 $n$ 次多项式。

3. 特征多项式

$$f(\lambda )=det(\lambda E-A)={\lambda }^n+c_{n-1}{\lambda }^{n-1}+\cdots +c_1\lambda +c_0$$

性质：

• $n$ 阶矩阵有 $n$ 个特征值（重根按重数计）
• 所有特征值的和 = $\text{tr}(A)$（迹 = 主对角线元素之和）
• 所有特征值的积 = $det(A)$

4. 特征值的性质

• $\lambda$ 是 $A$ 的特征值 $\Rightarrow$ $f(\lambda )=0$
• $\lambda$ 是 $A$ 的特征值 $\Rightarrow$ $k\lambda$ 是 $kA$ 的特征值
• $\lambda$ 是 $A$ 的特征值 $\Rightarrow$ ${\lambda }^2$ 是 $A^2$ 的特征值
• $\lambda$ 是 $A$ 的特征值 $\Rightarrow$ $\frac{1}{\lambda }$（$\lambda \ne 0$）是 $A^{-1}$ 的特征值
• $\lambda$ 是 $A$ 的特征值 $\Rightarrow$ $f(\lambda )$ 是 $f(A)$ 的特征值（多项式 $f$）
• $A^T$ 与 $A$ 有相同的特征值
• 相似矩阵有相同的特征值

5. 矩阵相似

定义：$n$ 阶矩阵 $A$ 与 $B$ 相似，如果存在可逆矩阵 $P$ 使

$$P^{-1}AP=B$$

记为 $A\sim B$。

相似性质：

• 反身性：$A\sim A$
• 对称性：$A\sim B\Rightarrow B\sim A$
• 传递性：$A\sim B,B\sim C\Rightarrow A\sim C$

相似不变量：

• 特征值
• 行列式
• 迹
• 秩

6. 矩阵对角化

6.1 问题

能否找到可逆 $P$，使 $P^{-1}AP=\mathrm{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$？

6.2 充要条件

$n$ 阶矩阵 $A$ 相似于对角矩阵 $⟺$ $A$ 有 $n$ 个线性无关的特征向量。

6.3 对角化步骤

1. 求特征方程 $det(\lambda E-A)=0$，得特征值 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$
2. 对每个 ${\lambda }_i$，解 $({\lambda }_{i}E-A)x=0$，得基础解系
3. 所有基础解系合并，得到 $n$ 个线性无关特征向量
4. 排列成 $P=(p_1,p_2,\dots ,p_n)$，则 $P^{-1}AP=\mathrm{\Lambda }$

6.4 简化判别

• $A$ 有 $n$ 个不同特征值 → 可对角化
• $A$ 有 $n$ 个线性无关特征向量 → 可对角化
• 特征值的几何重数 = 代数重数 → 可对角化

7. 实对称矩阵的对角化

谱定理：实对称矩阵一定可以正交对角化，即存在正交矩阵 $Q$ 使

$$Q^{T}AQ=\mathrm{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$$

性质：

• 所有特征值都是实数
• 不同特征值的特征向量相互正交
• $k$ 重特征值对应 $k$ 维特征子空间，可选 $k$ 个正交基

步骤（类似一般对角化，但最后一步用施密特正交化）：

1. 求特征值
2. 对每个特征值解齐次方程组得特征向量
3. 同一特征值内不同特征向量已正交；不同特征值间也正交
4. 不同特征值内若有多于 1 个，做施密特正交化
5. 单位化所有特征向量
6. 组成正交矩阵 $Q$

8. 应用

• 主成分分析（PCA）：协方差矩阵的特征值分解
• PageRank：转移矩阵的最大特征值对应的特征向量
• 微分方程组：$x^{\prime }=Ax$ 的解由 $A$ 的特征值决定
• 振动分析：物理系统的特征频率

第六章 二次型

1. 二次型定义

二次型是 $n$ 个变量的二次齐次多项式：

$$f(x_1,x_2,\dots ,x_n)=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$$

其中 $a_{ij}=a_{ji}$（对称假设下）。

2. 矩阵表示

二次型可唯一表示为：

$$f=x^{T}Ax$$

其中 $A=(a_{ij}{)}_{n\times n}$ 是对称矩阵（$A^T=A$），称为二次型的矩阵。

例：

$$f(x,y,z)=2x^2+3y^2+4z^2+2xy-6yz$$$$A=\left(\begin{array}{ccc}2& 1& 0\\ 1& 3& -3\\ 0& -3& 4\end{array}\right)$$

3. 线性替换与矩阵合同

线性替换：$x=Cy$（$C$ 可逆），代入二次型：

$$f=x^{T}Ax=y^T(C^{T}AC)y$$

设 $B=C^{T}AC$，称 $A$ 与 $B$ 合同，记 $A\simeq B$。

合同性质：

• 反身性、对称性、传递性
• $\text{rank}(A)=\text{rank}(B)$
• 对称性保持：$A^T=A\Rightarrow B^T=B$

4. 化标准形

标准形：仅含平方项，无交叉项的二次型：

$$f=d_1{y}_1^2+d_2{y}_2^2+\cdots +d_r{y}_r^2$$

4.1 配方法

逐变量配方，化为平方和。

例：

$$f=x_1^2+2x_2^2+4x_3^2+2x_1{x}_2+4x_1{x}_3-4x_2{x}_3$$

配 $x_1$：$(x_1+x_2+2x_3{)}^2-2x_2^2-3x_3^2-2x_2{x}_3-\dots$

4.2 初等变换法

对矩阵 $A$ 同时做相同的初等行变换和列变换（即 $A\to C^{T}AC$），化为对角形。

4.3 正交变换法

对实二次型，用正交矩阵 $Q$ 化为标准形 $\sum {\lambda }_i{y}_i^2$，其中 ${\lambda }_i$ 是 $A$ 的特征值。

5. 惯性定理

惯性定理：实二次型化为标准形后，正平方项个数 $p$、负平方项个数 $q$、零项个数 $r$ 都是唯一确定的（与替换方式无关）。

• $p$ = 正特征值个数
• $q$ = 负特征值个数（取绝对值前的负数）
• $r$ = 零特征值个数 = $n-p-q$

惯性指数：$(p,q)$ 称为二次型的正惯性指数和负惯性指数。

6. 正定二次型

定义：实二次型 $f(x)$ 对任意非零 $x$ 都有 $f(x)>0$，则 $f$ 是正定二次型。

类似地：

• 负定：$f(x)<0$ 对所有 $x\ne 0$
• 半正定：$f(x)\ge 0$ 对所有 $x$
• 半负定：$f(x)\le 0$ 对所有 $x$
• 不定：正负都取到

7. 正定矩阵判定

充要条件（设 $A$ 是 $n$ 阶实对称矩阵）：

1. 定义：所有顺序主子式都 > 0

   $${\mathrm{\Delta }}_k=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1k}\\ ⋮& & ⋮\\ a_{k1}& \cdots & a_{kk}\end{array}\right|>0,k=1,2,\dots ,n$$

2. 特征值：所有特征值 > 0

3. 合同：$A$ 与单位矩阵 $E$ 合同

4. 存在分解：$A=B^{T}B$（$B$ 列满秩）

例：$A=\left(\begin{array}{cc}2& 1\\ 1& 3\end{array}\right)$

• ${\mathrm{\Delta }}_1=2>0$ ✓
• ${\mathrm{\Delta }}_2=2\cdot 3-1=5>0$ ✓
• → $A$ 正定

8. 应用

• 最优化：正定二次型决定凸性
• Hessian 矩阵：正定 → 局部极小
• 二次规划：求解 $min\frac{1}{2}{x}^{T}Ax+b^{T}x$（$A$ 正定）
• 核函数：正定核 → SVM 等算法
• 概率分布：多元正态分布的协方差矩阵必须正定

第七章 线性空间与线性变换

1. 线性空间定义

线性空间（向量空间）是一个非空集合 $V$，配有加法和数乘两种运算，满足 8 条公理：

加法公理：

• 交换律：$a+b=b+a$
• 结合律：$(a+b)+c=a+(b+c)$
• 零元素：$\mathrm{\exists }0,a+0=a$
• 逆元素：$\mathrm{\forall }a,\mathrm{\exists }-a,a+(-a)=0$

数乘公理：

• $1\cdot a=a$
• $k(l\cdot a)=(kl)\cdot a$
• $(k+l)\cdot a=k\cdot a+l\cdot a$
• $k\cdot (a+b)=k\cdot a+k\cdot b$

例：

• ${\mathbb{R}}^n,{\mathbb{C}}^n$
• 多项式空间 $P_n$
• 矩阵空间 $M_{m\times n}$
• 函数空间 $C[a,b]$

2. 子空间

定义：$V$ 的子集 $W$，若 $W$ 本身在加法和数乘下封闭，则 $W$ 是 $V$ 的子空间。

判别（子空间必须满足 3 个条件）：

• $W\ne \mathrm{\varnothing }$（$0\in W$）
• $a,b\in W\Rightarrow a+b\in W$
• $k\in \mathbb{R},a\in W\Rightarrow ka\in W$

3. 基、维数、坐标

3.1 基

基是 $V$ 中线性无关且张成 $V$ 的向量组。$V$ 一定有基（可由极大无关组推广得到）。

3.2 维数

$$\dim V=\text{基所含向量个数}$$

例：

• $\dim {\mathbb{R}}^n=n$
• $\dim P_n=n+1$（多项式 $1,x,x^2,\dots ,x^n$）
• $\dim M_{m\times n}=mn$

3.3 坐标

设 ${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n$ 是 $V$ 的一组基，$\mathrm{\forall }a\in V$ 唯一表示为：

$$a=x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n$$

则 $(x_1,x_2,\dots ,x_n{)}^T$ 是 $a$ 在该基下的坐标，记为 $[a{]}_{\text{基}}$。

4. 基变换与坐标变换

设旧基 ${\alpha }_1,\dots ,{\alpha }_n$，新基 ${\beta }_1,\dots ,{\beta }_n$，有：

$$({\beta }_1,{\beta }_2,\dots ,{\beta }_n)=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n)P$$

则同一向量在两基下的坐标关系为：

$$[a{]}_{\text{新}}=P^{-1}[a{]}_{\text{旧}}$$

5. 线性变换

定义：$V\to V$ 的映射 $\mathcal{A}$，若满足：

• $\mathcal{A}(a+b)=\mathcal{A}(a)+\mathcal{A}(b)$
• $\mathcal{A}(ka)=k\mathcal{A}(a)$

则 $\mathcal{A}$ 是 $V$ 上的线性变换。

例：

• 恒等变换 $\mathcal{I}$
• 零变换 $\mathcal{O}$
• 投影变换 $P$
• 旋转变换

6. 线性变换的矩阵表示

设 $\mathcal{A}$ 是 $n$ 维线性空间 $V$ 的线性变换，${\alpha }_1,\dots ,{\alpha }_n$ 是一组基。设

$$\mathcal{A}({\alpha }_j)=a_{1j}{\alpha }_1+a_{2j}{\alpha }_2+\cdots +a_{nj}{\alpha }_n$$

则矩阵 $A=(a_{ij})$ 称为 $\mathcal{A}$ 在该基下的矩阵。

关键性质：

$$[\mathcal{A}(x){]}_{\text{基}}=A[x{]}_{\text{基}}$$

不同基下的矩阵相似：若 $B$ 是 $\mathcal{A}$ 在另一组基下的矩阵，则

$$A\sim B$$

7. 特征子空间

定义：对应特征值 $\lambda$ 的所有特征向量加上零向量，构成 $\lambda$ 的特征子空间：

$$V_{\lambda }=\{x\mid Ax=\lambda x\}$$

性质：

• $V_{\lambda }$ 是 $V$ 的子空间
• $\dim V_{\lambda }$ = $\lambda$ 的几何重数
• $A$ 可对角化 $⟺$ $\sum \dim V_{{\lambda }_i}=n$

8. 不变子空间（简）

定义：$V$ 的子空间 $W$，若 $\mathcal{A}(W)\subseteq W$，则 $W$ 是 $\mathcal{A}$ 的不变子空间。

意义：研究线性变换时，限制在不变子空间上可简化结构。

例：

• 特征子空间是不变子空间
• 核空间 $\ker \mathcal{A}$ 是不变子空间
• 值域 $\text{im}\mathcal{A}$ 是不变子空间

9. Jordan 标准形（简）

定理：任意 $n$ 阶复矩阵 $A$ 都相似于一个 Jordan 形矩阵 $J$：

$$J=\left(\begin{array}{ccc}{J}_1& & \\ & \ddots & \\ & & J_k\end{array}\right),J_i=\left(\begin{array}{cccc}{\lambda }_i& 1& & \\ & {\lambda }_i& \ddots & \\ & & \ddots & 1\\ & & & {\lambda }_i\end{array}\right)$$

意义：即使 $A$ 不能对角化，仍能化为最简的"近对角形"——Jordan 块。

应用：

• 矩阵的高次幂 $A^k$
• 矩阵指数 $e^A=\sum A^n/n!$
• 微分方程组求解

第八章 矩阵分解

1. LU 分解

定义：$A$ 是 $n$ 阶矩阵，$L$ 是单位下三角矩阵，$U$ 是上三角矩阵，若

$$A=LU$$

则称 $A$ 有 LU 分解。

几何意义：把 $A$ 的线性变换分解为"下三角"（前向替换）和"上三角"（回代）两步。

存在条件：$A$ 的各阶顺序主子式都非零。

应用：

• 快速求解多个线性方程组 $Ax=b_i$
• 数值稳定性好

2. QR 分解

定义：$A_{m\times n}$（$m\ge n$）可分解为

$$A=QR$$

其中 $Q$ 是 $m\times m$ 正交矩阵，$R$ 是 $m\times n$ 上三角矩阵。

几何意义：把线性变换分解为"保距旋转"$Q$ 和"沿轴拉伸"$R$。

构造方法（Gram-Schmidt）：

• 对 $A$ 的列向量组做施密特正交化
• 归一化得到 $Q$ 的列
• $R$ 记录正交化过程中的系数

应用：

• 最小二乘问题：$Ax=b$ 的最优解 $x=(A^{T}A{)}^{-1}{A}^{T}b=R^{-1}{Q}^{T}b$
• 特征值 QR 算法

3. 谱分解（特征分解）

定理：实对称矩阵 $A$ 可正交对角化：

$$A=Q\mathrm{\Lambda }{Q}^T$$

其中 $Q$ 是正交矩阵，$\mathrm{\Lambda }=\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$。

几何意义：实对称变换在正交基下是对角的（拉伸）。

应用：

• PCA：协方差矩阵的特征分解
• 求解 $det(A)$ 和 $A^k$

4. SVD（奇异值分解）

定理：任意 $A_{m\times n}$ 都可以分解为

$$A=U\mathrm{\Sigma }{V}^T$$

其中：

• $U_{m\times m}$ 是正交矩阵（左奇异向量）
• $V_{n\times n}$ 是正交矩阵（右奇异向量）
• ${\mathrm{\Sigma }}_{m\times n}$ 是对角线上有 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ 的"对角"矩阵（${\sigma }_i$ 是奇异值）

4.1 几何意义

任意线性变换都可分解为"旋转 - 拉伸 - 旋转"三步。

4.2 几何意义（细节）

• $V^T$：把 $n$ 维空间旋转到主轴方向
• $\mathrm{\Sigma }$：沿主轴拉伸 ${\sigma }_i$ 倍
• $U$：把 $m$ 维空间再旋转

4.3 性质

• 奇异值 = $\sqrt{{\lambda }_i(A^{T}A)}$
• $\text{rank}(A)$ = 非零奇异值个数
• $\parallel A{\parallel }_2={\sigma }_1$（最大奇异值 = 谱范数）
• $\parallel A{\parallel }_F=\sqrt{\sum {\sigma }_i^2}$（Frobenius 范数）

4.4 应用

• 降维：保留前 $k$ 大奇异值，$A\approx U_k{\mathrm{\Sigma }}_k{V}_k^T$
• 推荐系统：用户-物品矩阵的 SVD
• 图像压缩：图像矩阵的低秩近似
• NLP：词向量的 SVD 分解
• 伪逆：Moore-Penrose 伪逆 $A^{+}=V{\mathrm{\Sigma }}^{+}{U}^T$

5. 实际应用对比

分解	适用矩阵	主要应用
LU	一般方阵	线性方程组快速求解
QR	长方形/方阵	最小二乘、特征值算法
谱分解	实对称方阵	PCA、二次型
SVD	任意矩阵	降维、推荐、降噪

第九章 跨章联系

• 行列式 ↔ 矩阵：$det(A)\ne 0$ 意味着 $A$ 可逆
• 矩阵 ↔ 向量：矩阵的列就是向量组，矩阵的秩 = 向量组的秩
• 向量 ↔ 方程组：方程组 $Ax=0$ 的解空间 = $A$ 的零空间
• 方程组 ↔ 矩阵：$A_{m\times n}$ 就是方程组的系数矩阵
• 特征值 ↔ 矩阵：刻画 $A$ 在特征向量方向的"拉伸"
• 二次型 ↔ 矩阵：$f=x^{T}Ax$，正定矩阵 $\leftrightarrow$ 正定二次型
• 线性空间 ↔ 向量组：基 = 极大无关组，坐标 = 线性表示系数
• 线性变换 ↔ 矩阵：$\mathcal{A}$ 在一组基下唯一对应一个矩阵
• 矩阵分解 ↔ 所有：每种分解都揭示了 $A$ 的一种结构

四章（前 4 章）→ 八章（前 8 章）→ 本质上都是用不同语言描述同一件事：线性关系。