§7 不变子空间对于给定的维线性空间,A∈,如何才能选到的一个基,使A关于这个基的矩阵具有尽可能简单的形式.由于一个线性变换关于不同基的矩阵是相似的.因而问题也可以这样提出:在一切彼此相似的阶矩阵中,如何选出一个形式尽可能简单的矩阵.这一节介绍不变子空间的概念,来说明线性变换的矩阵的化简与线性变换的内在联系.
定义7 设A是数域上线性空间的线性变换,是的一个子空间.如果中的向量在A下的像仍在中,换句话说,对于中任一向量,有A,就称是A的不变子空间,简称A-子空间,
例1 整个空间和零子空间,对于每个线性变换A,都是A-子空间.
例2 A的值域与核都是A-子空间.
例3 若线性变换A与B是可交换的,则B的核与值都是A-子空间.
因为A的多项式(A)是和A交换的,所以(A)的值域与核都是A-子空间.
例4 任何一个子空间都是数乘变换的不变子空间.
特征子空间与一维不变子空间之间有着紧密的联系.设是一维A-子空间,是中任何一个非零向量,它构成的一个基.按A-子空间的定义,A,它必是的一个倍数:
A.
这说明是A的特征向量,而即是由生成的一维A-子空间.
反过来,设是A属于特征值的一个特征向量,则以及它任一倍数在A下的像是原像的倍,仍旧是的一个倍数.这说明的倍数构成一个一维A-子空间.
显然,A的属于特征值的一个特征子空间也是A的一不变子空间.
A-子空间的和与交还是A-子空间.
设A是线性空间的线性变换,是A的不变子空间.由于中向量在A下的像仍在中,这就使得有可能不必在整个空间中来考虑A,而只在不变子空间中考虑A,即把A看成是的一个线性变换,称为A在不变子空间上引起的变换.为了区别起见,用符号A|来表示它;但是在很多情况下,仍然用A来表示而不致引起混淆.
必须在概念上弄清楚A与A|的异同:A是的线性变换,中每个向量在A下都有确定的像;A|是不变子空间上的线性变换,对于中任一向量,有
(A|)=A.
但是对于中不属于的向量来说,(A|)是没有意义的.
例如,任一线性变换在它的核上引起的变换就是零变换,而在特征子空间上引起的变换是数乘变换.
如果线性空间的子空间是由向量组生成的,即,则是A-子空间的充要条件为A,A,…,A全属于.
下面讨论不变子空间与线性变换矩阵化简之间的关系.
1)设A是维线性空间的线性变换,是的A-子空间.在中取一组基,并且把它扩充成的一组基
,(1)
那么,A在这组基下的矩阵就具有下列形状
,(2)
并且左上角的级矩阵就是A|在的基下的矩阵.
2) 设分解成若干个A-子空间的直和:
.
在每一个A-子空间中取基
 (3)
并把它们合并起来成为的一组基.则在这组基下,A的矩阵具有准对角形状
 (4)
其中就是A|在基(3)下的矩阵.
反之,如果线性变换A在基下的矩阵是准对角形(4),则由(3)生成的子空间是A-子空间.
由此可知,矩阵分解为准对角形与空间分解为不变子空间的直和是相当的.
下面应用哈密尔顿-凯莱定理将空间按特征值分解成不变子空间的直和.
定理12 设线性变换A的特征多项式为,它可分解成一次因式的乘积

则可分解成不变子空间的直和

其中
.