特征值的一些

关于特征值的一些

Notation

对于一个矩阵$A$，其第$i$列记作$A_{c(i)}$，第$i$行记作$A_{r(j)}$

---

Theorem 1: 实对称矩阵的所有特征值都是实数。

设:
$$
A\alpha = \lambda\alpha (\alpha \neq \mathbf{0})
$$
目标要证明$\lambda \in \mathbb{R}$。

对该式左右同时左乘$\alpha^H$：
$$
\alpha ^H A \alpha = \lambda \alpha^H \alpha
$$

由于$\alpha^H \alpha > 0$

所以
$$
\lambda = \frac{ \alpha ^H A \alpha}{\alpha^H \alpha}
$$

接下来要证明$\alpha ^H A \alpha \in \mathbb{R}$:
$$
(\alpha ^H A \alpha)^H = \alpha ^H A^H \alpha = \alpha ^H A \alpha
$$
所以$\alpha ^H A \alpha \in \mathbb{R}$，而$\alpha^H \alpha \in \mathbb{R}$
所以
$$
\lambda = \frac{ \alpha ^H A \alpha}{\alpha^H \alpha} \in \mathbb{R}
$$

对于一般矩阵而言，$A^H = A$无法推出$A$是实矩阵，但是上例中$\alpha ^H A \alpha$是一个1 * 1的矩阵（也就是一个数），所以才可以推出其是实数。

另，Theorem 1还可以有更强的版本：所有满足$A^H = A$的矩阵的所有特征值都为实数。

---

Theorem 2: 对于任意一个矩阵的任意一个特征值，其几何重数小于等于代数重数。

对于一个$n \times n$的矩阵$A$和其任意一个特征值$\lambda_0$，设$E$为$A - \lambda_0 I$的Null Space。

设$v_1, v_2, … v_k$为$E$的一组基，则特征值$\lambda_0$的几何重数为$k$ 。将其扩展为$v_1, v_2, … v_k, v_{k + 1}, …, v_n$作为n维空间的一组基。

设$P = [v_1, v_2, …, v_n]$，则:
$$
A = P \begin{bmatrix}
\lambda_0 I_k & * \cr
0 & B
\end{bmatrix}P^{-1}
$$
为什么？我们记$A = PTP^{-1}$, 我们只需要证明:
$$
T = \begin{bmatrix}
\lambda_0 I_k & * \cr
0 & B
\end{bmatrix}
$$

证明：等价于要证明，已知
$$
AP = PT
$$
推出:
$$
T = \begin{bmatrix}
\lambda_0 I_k & * \cr
0 & B
\end{bmatrix}
$$
我们考察$AP$的前$k$列，必然是：
$$
AP = [\lambda_0 v_1, \lambda_0 v_2,…, \lambda_0 v_k, …]
$$
所以显然$PT$的前$k$列也得是这些。而$PT$的第$i$列就是$P$乘$T$的第$i$列，因此：
$$
\forall i \in [1,k], [v_1, v_2, …, v_n]\ \ P (T_{c(i)}) = \lambda_0 v_i
$$
那么显然，这可以推出：
$$
T_{i,i}=\lambda_0,\qquad T_{j,i}=0\ (j\ne i),\qquad i=1,2,\dots,k
$$

然后，我们来算$A$的特征多项式：
$$
\det (A - x I) = \det( P \begin{bmatrix}
\lambda_0 I_k & * \cr
0 & B
\end{bmatrix}P^{-1} - xI) = \det(P \begin{bmatrix}
\lambda_0 I_k & * \cr
0 & B
\end{bmatrix}P^{-1} - PxP^{-1})
$$

$$
= \det(\begin{bmatrix}
\lambda_0 I_k & * \cr
0 & B
\end{bmatrix} - xI)= \det(\begin{bmatrix}
(\lambda_0 - x) I_k & * \cr
0 & B - xI_{n - k}
\end{bmatrix}) = (\lambda_0 - x) ^ k \times \det(B - xI_{n - k})
$$

因此，A的特征多项式中至少有$k$次$(\lambda_0 - x)$作为因子，所以$\lambda_0$的代数重数大于等于$k$。而其几何重数为$k$，所以我们几何重数小于等于代数重数。

---

Theorem 3：对于实对称矩阵的任意一个特征值，其几何重数等于代数重数。

对于一个$n \times n$的矩阵$A$和其任意一个特征值$\lambda_0$，设$E$为$A - \lambda_0 I$的Null Space。

设$v_1, v_2, … v_k$为$E$ 的一组标准正交基（两两正交且模长为1），则特征值$\lambda_0$的几何重数为$k$ 。将其扩展为$v_1, v_2, … v_k, v_{k + 1}, …, v_n$作为n维空间的一组标准正交基。设$F$为$\text{span}(v_{k + 1}, …, v_n)$，则$F = E^\perp$。

Lemma 3.1 $\forall x \in F, Ax \in F$。

证明：只需证明$\forall i \in [1,k], v_i \perp (Ax)$即可。

$$
x^T A^Tv_i = x^TAv_i = x^T (Av_i) = \lambda_0 x^T v_i = 0
$$

​ Lemma 3.2 设$P = [v_1, v_2, …, v_n]$，则:
$$
A = P \begin{bmatrix}
\lambda_0 I_k & 0 \cr
0 & B
\end{bmatrix}P^{-1}
$$

证明：等价于要证明，已知
$$
AP = PT
$$
推出:
$$
T = \begin{bmatrix}
\lambda_0 I_k & 0 \cr
0 & B
\end{bmatrix}
$$
对于$T$的前$k$列，之前已经被证明过，不再重复证明。现在只需关注为什么$T$的右上角是零矩阵。$T$矩阵的本质就是规定如何对$v_1,v_2,…,v_n$进行线性组合来得到$PT$。

$PT$的后$n - k$列应该是$[Av_{k + 1}, Av_{k + 2}, … , Av_n]$，而因为$Av_{k + 1}, Av_{k + 2}, … , Av_n \in F$, 即$Av_{k + 1}, Av_{k + 2}, … , Av_n \in \text{span}(v_{k + 1}, …, v_n)$，所以这里的线性组合完全不需要$v_1,v_2,…,v_k$，所以矩阵的右上角为0。

然后我们再来考察矩阵$A$的特征多项式：
$$
\det (A - xI) = (\lambda_0 - x) ^ k \times \det(B - xI_{n - k})
$$
​ 若$\det(B - xI_{n - k})$中还有$\lambda_0 - x$作为因子，则$\lambda_0$也会是$B$的特征值。设$Bz = \lambda_0z \ (z \neq \mathbf{0})$。则构造一个新向量$w$：
$$
w_{n \times 1} = \begin{bmatrix}
\mathbf{0}_{k\times 1}\cr
z
\end{bmatrix}
$$
则：
$$
Tw = \begin{bmatrix}
\lambda_0 I_k & 0 \cr
0 & B
\end{bmatrix} \begin{bmatrix}
\mathbf{0}\cr
z
\end{bmatrix} = \begin{bmatrix}
\mathbf{0}\cr
Bz
\end{bmatrix}
= \begin{bmatrix}
\mathbf{0}\cr
\lambda_0z
\end{bmatrix} = \lambda_0 w
$$
而：
$$
A(Pw) = PTP^{-1}(Pw) = PTw = P\lambda_0w = \lambda_0 (Pw)
$$
故 $Pw$ 是 $A$ 关于特征值 $\lambda_0$ 的特征向量。那么$Pw \in E$。

但是我们又因为$w$的前$k$个分量都是0，所以$Pw$就是对$v_{k + 1}, … v_n$的线性组合。显然这个线性组合属于$F$，故$Pw \in F$。

因此$Pw \in (E \cap F) \to Pw = \mathbf{0} \to w = \mathbf{0}$，矛盾。

---

Theorem 4：对于一个实对称矩阵，若其两个特征向量对应两个不同的特征值，那么这两个特征向量一定正交。

设$A\alpha_1 = \lambda_1 \alpha_1, A\alpha_2 = \lambda_2 \alpha_2, \lambda_1 \neq \lambda_2$，则：
$$
(A\alpha_1)^T\alpha_2 = \lambda_1 \alpha_1^T\alpha_2
$$
而：
$$
(A\alpha_1)^T\alpha_2 = \alpha_1^TA^T\alpha_2 = \alpha_1^TA\alpha_2 = \alpha_1^T(A\alpha_2) = \lambda_2 \alpha_1^T\alpha_2
$$
于是：
$$
\lambda_1 \alpha_1^T\alpha_2 =\lambda_2 \alpha_1^T\alpha_2
$$
而$\lambda_1 \neq \lambda_2$，故$\alpha_1^T\alpha_2 = 0$。

---

Theorem 5：对于一个$n \times n$的实对称矩阵，其特征向量 span $\mathbb{R}^n$。

首先，根据代数基本定理，这个实对称矩阵一定有$n$个特征根。

其次根据Theorem 1，这n个特征根都是实数，所以这个矩阵的各特征根的代数重数相加等于$n$。

又因为实对称矩阵的代数重数等于几何重数 (Theorem 3)，所以代数重数为$k$的特征值对应的有$k$个线性无关的特征向量。

又因为Theorem 4，所以实对称矩阵可以有$n$个彼此正交的特征向量，自然他们是线性无关的，故可以span。