第2章 范数理论及其应用
2.1向量范数及lp范数定义：如果V是数域K上的线性空间，且对于
V的任一向量x，对应一个实数值||x||，它满足以下三个条件：
1)非负性,||x||(0,且||x||=0( x=0;
2)齐次性：||k(x||=|k|(||x||,k(K；
3)三角不等式：||x+y||(||x||+||y||.
则称||x||为V上向量x的范数，简称为向量范数。
注意：2)中|k|当K为实数时为绝对值，
当K为复数域时为复数的模。
虽然向量范数是定义在一般的线性空间上的，
但是由于前面的讨论，我们知道任何线性空间在一组基下都代数同构于常用的n维向量空间，
因此下面我们仅仅讨论n维向量空间就足够了。
范数首先是一个函数，它将线性空间的任意向量映射为非负实数。
范数与函数性质1,范数是凸函数。
即 || (1(()x+(y||((1(()||x||+(||y||
其中 0( ( ( 1。
向量的范数类似于向量长度。
性质2,若||(||为线性空间V上的向量范数，
则k||(|| 仍然为向量范数,其中k > 0.
性质3,若||(||f和||(||g为线性空间V上的两个向量范数，则
(1),||(||f + ||(||g 为V上向量范数。
(2),max{ ||(||f,||(||g } 为V上向量范数。
性质4,若||(||f和||(||g分别为线性空间V上两个线性交集为0的子空间V1和V2上的两个向量范数，则对任意x(V1(V2,存在唯一分解 x= u+v,其中u(V1,v(V2,
定义||x||1=||u||f + ||v||g,||x||2=max{||u||f,||v||g}
则||x||1和||x||2为V1(V2上的向量范数。
性质5,(范数与凸集) 若||(||为线性空间V上的向量范数，集合(={x,||x||( 1}为V上凸集。
反之，若(为V上的均衡闭凸集，即
x((,则((x((,其中|(|(1.其中(含有内点，
即包含一个小的单位球。则可以定义函数P(x)
如下：当x(0时，P(x)= min {( > 0:x/((( }
当x=0时，P(x)=0.则P(x)为V上的范数。
证明：1),显然 P(x) ( 0,且P(0)=0.
下面我们证明若P(x)=0,则x=0;
用反证法,设x(0,则由P(x)的定义，任给(>P(x)=0,
则有x/(((。 有因为(为有界集。即存在常数M>0 使得
对任意y((,||y||(M,其中 ||(||为某一给定的范数。
令y=x/(,则得到||x/(||(M,即||x||(((M,由于(为任意大于0的数，若令((0 则有||x||=0。因||(||为范数，
从而 x=0,这样，我们就证明了1).
2),若x=0,则P(k x)=k P(x)显然成立。
假设x(0,由于x/P(x)((,且任何((P(x),x/(((;
而任何(< P(x),x/(((.
显然 k x/P(kx)((,则[(k/|k|)({x /[ P(kx)/|k|] }((
注意k/||k||的幅度为1,从而有(的均衡性，
我们有x /[ P(kx)/|k|]((,这样由定义有
P(x)(P(kx)/|k|,即
|k|(P(x)(P(kx),(()
同样由于x/P(x)((,注意到k/||k||的幅度为1，
从而(kx)/(||k|| P(x) )((,由定义有
P(kx)( |k|(P(x) (()
联合(()和((),我们有P(kx)=|k| P(x).
(3),设x(0,y(0,则x/P(x)((,y/P(y)((,
令(=P(y)/(P(x)+P(y)),由于(为凸集，
从而
(x+y)/(P(x)+P(y))=(1(()( x/P(x)+(( y/(P(y)((,
这样有P(x+y)的定义，我们有
P(x+y)(P(x)+P(y).
当x和y有一个或全部为0时，显然三角不等式仍然成立。
联合1),2)和3),从而P(x)为范数。
这个性质说明了范数和均衡凸集之间的一一对应关系。
均衡凸集与范数
例1,向量的p范数：
||x||p={|x1|p+|x2|p+…+|xn|p}1/p
取p=1,2,和(便分别得到1范数，2范数和(范数。
即 ||x||1=|x1|+|x2|+…+|xn|
||x||2={|x1|2+|x2|2+…+|xn|2}1/2
||x||(=maxi |xi|
其中||(||2范数为由内积导出的范数。
Holder不等式
p,q>1,1/p+1/q =1.
例2.(加权范数)设A为实对称正定矩阵，对
x(Rn,定义||x||=(xTAx)1/2称为加权范数。
范数有无穷多,但它们彼此等价。即定理：设||x||(和||x||(为有限维线性空间的任意两个范数，则存在与x无关的两个常数c1,c2
使得下面式子成立：
c1||x||( ( ||x||( ( c2||x||(
证明思路 1)范数等价为等价关系,满足传递性;
2)任意范数为坐标函数的连续函数；
3)在单位圆周上有大于零的极大极小值,
与2-范数等价。
利用范数等价证明:
向量收敛的两个定义一致性.
即：
向量序列x(n)收敛指每个分量数列xi(n)收敛。
向量序列x(n)收敛指||x(n)||的范数序列收敛。
矩阵范数定义2.3 设A(Cm(n,定义一个实值函数||A||,它满足以下三个条件：
1)非负性,||A||(0,且||A||=0( A=0;
2)齐次性：||k(A||=|k|(||A||,k(C；
3)三角不等式：||A+B||(||A||+||B||.
则称||A||为A的广义矩阵范数。
很明显矩阵按广义范数收敛和分量收敛是等价的。
即：
1.矩阵序列A(n)收敛指矩阵的每个元素数列aij(n)为收敛数列。
2.矩阵序列A(n)收敛指矩阵的广义范数序列||A(n)||为收敛数列。
%
向量范数同类：设||.||a和||.||b分别为Cn和Cm
的向量范数，设n ( m，任给x(Cn,
设x=(yT,0,...,0)T (Cn,若满足
||x||a=||y||b
则称||.||a和||.||b为同类的向量范数。
广义矩阵范数同类：设||.||a和||.||b分别为Cm(n
和Cl(k的广义矩阵范数，设p=min(m,l)，
q=min(k,n)
任给D( Cp(q
设A=(Cm(n,B=(Cl(k
若满足 ||A||a=||B||b
则称||.||a和||.||b为同类的广义矩阵范数。
%
若对Cm(n,Cn(l,Cm(l的同类广义矩阵范数||.||
有
4),相容性：||AB||(||A||(||B||
则称||A||为A的矩阵范数。
向量范数和矩阵范数的相容性：
定义2.4 对于Cm(n上的矩阵范数||.||M和Cm
与Cn的同类范数||.||V,如果
||Ax||V(||A||M ||x||V,任给A(Cm(n，x(Cn
则称矩阵范数||.||M和向量范数||.||V相容。
定理(存在性) 任给||.||M是Cm(n上的矩阵范数，
存在Cm和Cn上的同类向量范数满足
||Ax||Vm(||A||M ||x||Vn,任给A(Cm(n，x(Cn
证明：任取不为Cn中不为0的向量a,
定义||x||Vm=||x(aH||M,x(Cm;
设||.||N为和||.||M同类的为Cn(n的矩阵范数，
定义 ||y||Vn=||y(aH||N,y(Cn;
易验证 ||x||Vm,||y||Vn分别为Cm,Cn的向量范数。从而利用矩阵范数相容性可得任给y(Cn,||Ay||Vm=||Ay(aH||M=||A(y(aH)||M
(||A||M||y(aH||N=||A||M||y||Vn
从而成立结论。
例：Frobenius范数或称F-范数和||.||2范数相容.
||A||F=Tr(AHA)1/2=(( |aij|2)1/2
从属(算子)范数定理:设Cm与Cn的同类范数||.||，对于Cm(n上的矩阵A定义函数：
||A||=
是Cm(n上矩阵范数,且与已知的向量范数相容.
称为之由向量导出的范数,从属范数或算子范数。
这时我们实际上将A看作线性映射的矩阵表示.
定理 设A=(aij) (Cm(n,x=((1,(2,…,(n)T(Cn
则从属于向量x的三种范数||x||1,||x||2和||x||(
的矩阵范数依次是：
1）||A||1=(列范数)
2）||A||2=，其中(1为AHA的最大特征值;
3) ||A||(=(行范数)
必须特别注意，所有广义矩阵范数都是相互等价的。
范数的应用
1．矩阵非奇异性条件定理：设A(Cn(n,且对Cn(n的某矩阵范数||.||
满足||A||<1,则矩阵I(A非奇异，且有
1) ||(I(A)(1||( ||I||/(1(||A||)
2) ||I((I(A)(1||(||A||/(1(||A||)
逆矩阵的摄动
定理2.8 设矩阵A，B(Cn(n,A非奇异，且对
Cn(n的某矩阵范数||.||满足||A(1B||<1,则
1) 矩阵A+B非奇异;
2) F=I((I+A(1B)(1,||F||( || A(1B ||/(1(|| A(1B ||)
3) ||A(1((A+B)(1||/|| A(1|| (||A(1B||/(1(||A(1B||)
特别地 设B=(A,cond(A)=||A||(|| A(1||
则有
||A(1((A+(A)(1||/|| A(1|| (
其中 Cond(A)称为A的条件数，反映矩阵的摄动对其逆的影响。
矩阵的谱半径及其性质
定义 设A(Cn(n的n个特征值为(1,(2,…,(n,
称 ((A)= maxi |(i| 为A的谱半径.
定理,设A(Cn(n，则对A的任何一种矩阵范数||.||有 ((A)(||A||.
证明,对矩阵范数构造相应的相容向量范数
||.||Vn，从而有
设(为A的任意特征值,x为相应特征向量，
则有 |(|( ||x||Vn=||(x||Vn=||Ax||Vn
(||A||(||x||Vn.
从而有 |(|(||A||，由题设
((A)(||A||.
矩阵A的算子范数与谱：
算子范数 || (||
||A||1 ||A||2
((A)
矩阵A
2.1向量范数及lp范数定义：如果V是数域K上的线性空间，且对于
V的任一向量x，对应一个实数值||x||，它满足以下三个条件：
1)非负性,||x||(0,且||x||=0( x=0;
2)齐次性：||k(x||=|k|(||x||,k(K；
3)三角不等式：||x+y||(||x||+||y||.
则称||x||为V上向量x的范数，简称为向量范数。
注意：2)中|k|当K为实数时为绝对值，
当K为复数域时为复数的模。
虽然向量范数是定义在一般的线性空间上的，
但是由于前面的讨论，我们知道任何线性空间在一组基下都代数同构于常用的n维向量空间，
因此下面我们仅仅讨论n维向量空间就足够了。
范数首先是一个函数，它将线性空间的任意向量映射为非负实数。
范数与函数性质1,范数是凸函数。
即 || (1(()x+(y||((1(()||x||+(||y||
其中 0( ( ( 1。
向量的范数类似于向量长度。
性质2,若||(||为线性空间V上的向量范数，
则k||(|| 仍然为向量范数,其中k > 0.
性质3,若||(||f和||(||g为线性空间V上的两个向量范数，则
(1),||(||f + ||(||g 为V上向量范数。
(2),max{ ||(||f,||(||g } 为V上向量范数。
性质4,若||(||f和||(||g分别为线性空间V上两个线性交集为0的子空间V1和V2上的两个向量范数，则对任意x(V1(V2,存在唯一分解 x= u+v,其中u(V1,v(V2,
定义||x||1=||u||f + ||v||g,||x||2=max{||u||f,||v||g}
则||x||1和||x||2为V1(V2上的向量范数。
性质5,(范数与凸集) 若||(||为线性空间V上的向量范数，集合(={x,||x||( 1}为V上凸集。
反之，若(为V上的均衡闭凸集，即
x((,则((x((,其中|(|(1.其中(含有内点，
即包含一个小的单位球。则可以定义函数P(x)
如下：当x(0时，P(x)= min {( > 0:x/((( }
当x=0时，P(x)=0.则P(x)为V上的范数。
证明：1),显然 P(x) ( 0,且P(0)=0.
下面我们证明若P(x)=0,则x=0;
用反证法,设x(0,则由P(x)的定义，任给(>P(x)=0,
则有x/(((。 有因为(为有界集。即存在常数M>0 使得
对任意y((,||y||(M,其中 ||(||为某一给定的范数。
令y=x/(,则得到||x/(||(M,即||x||(((M,由于(为任意大于0的数，若令((0 则有||x||=0。因||(||为范数，
从而 x=0,这样，我们就证明了1).
2),若x=0,则P(k x)=k P(x)显然成立。
假设x(0,由于x/P(x)((,且任何((P(x),x/(((;
而任何(< P(x),x/(((.
显然 k x/P(kx)((,则[(k/|k|)({x /[ P(kx)/|k|] }((
注意k/||k||的幅度为1,从而有(的均衡性，
我们有x /[ P(kx)/|k|]((,这样由定义有
P(x)(P(kx)/|k|,即
|k|(P(x)(P(kx),(()
同样由于x/P(x)((,注意到k/||k||的幅度为1，
从而(kx)/(||k|| P(x) )((,由定义有
P(kx)( |k|(P(x) (()
联合(()和((),我们有P(kx)=|k| P(x).
(3),设x(0,y(0,则x/P(x)((,y/P(y)((,
令(=P(y)/(P(x)+P(y)),由于(为凸集，
从而
(x+y)/(P(x)+P(y))=(1(()( x/P(x)+(( y/(P(y)((,
这样有P(x+y)的定义，我们有
P(x+y)(P(x)+P(y).
当x和y有一个或全部为0时，显然三角不等式仍然成立。
联合1),2)和3),从而P(x)为范数。
这个性质说明了范数和均衡凸集之间的一一对应关系。
均衡凸集与范数
例1,向量的p范数：
||x||p={|x1|p+|x2|p+…+|xn|p}1/p
取p=1,2,和(便分别得到1范数，2范数和(范数。
即 ||x||1=|x1|+|x2|+…+|xn|
||x||2={|x1|2+|x2|2+…+|xn|2}1/2
||x||(=maxi |xi|
其中||(||2范数为由内积导出的范数。
Holder不等式
p,q>1,1/p+1/q =1.
例2.(加权范数)设A为实对称正定矩阵，对
x(Rn,定义||x||=(xTAx)1/2称为加权范数。
范数有无穷多,但它们彼此等价。即定理：设||x||(和||x||(为有限维线性空间的任意两个范数，则存在与x无关的两个常数c1,c2
使得下面式子成立：
c1||x||( ( ||x||( ( c2||x||(
证明思路 1)范数等价为等价关系,满足传递性;
2)任意范数为坐标函数的连续函数；
3)在单位圆周上有大于零的极大极小值,
与2-范数等价。
利用范数等价证明:
向量收敛的两个定义一致性.
即：
向量序列x(n)收敛指每个分量数列xi(n)收敛。
向量序列x(n)收敛指||x(n)||的范数序列收敛。
矩阵范数定义2.3 设A(Cm(n,定义一个实值函数||A||,它满足以下三个条件：
1)非负性,||A||(0,且||A||=0( A=0;
2)齐次性：||k(A||=|k|(||A||,k(C；
3)三角不等式：||A+B||(||A||+||B||.
则称||A||为A的广义矩阵范数。
很明显矩阵按广义范数收敛和分量收敛是等价的。
即：
1.矩阵序列A(n)收敛指矩阵的每个元素数列aij(n)为收敛数列。
2.矩阵序列A(n)收敛指矩阵的广义范数序列||A(n)||为收敛数列。
%
向量范数同类：设||.||a和||.||b分别为Cn和Cm
的向量范数，设n ( m，任给x(Cn,
设x=(yT,0,...,0)T (Cn,若满足
||x||a=||y||b
则称||.||a和||.||b为同类的向量范数。
广义矩阵范数同类：设||.||a和||.||b分别为Cm(n
和Cl(k的广义矩阵范数，设p=min(m,l)，
q=min(k,n)
任给D( Cp(q
设A=(Cm(n,B=(Cl(k
若满足 ||A||a=||B||b
则称||.||a和||.||b为同类的广义矩阵范数。
%
若对Cm(n,Cn(l,Cm(l的同类广义矩阵范数||.||
有
4),相容性：||AB||(||A||(||B||
则称||A||为A的矩阵范数。
向量范数和矩阵范数的相容性：
定义2.4 对于Cm(n上的矩阵范数||.||M和Cm
与Cn的同类范数||.||V,如果
||Ax||V(||A||M ||x||V,任给A(Cm(n，x(Cn
则称矩阵范数||.||M和向量范数||.||V相容。
定理(存在性) 任给||.||M是Cm(n上的矩阵范数，
存在Cm和Cn上的同类向量范数满足
||Ax||Vm(||A||M ||x||Vn,任给A(Cm(n，x(Cn
证明：任取不为Cn中不为0的向量a,
定义||x||Vm=||x(aH||M,x(Cm;
设||.||N为和||.||M同类的为Cn(n的矩阵范数，
定义 ||y||Vn=||y(aH||N,y(Cn;
易验证 ||x||Vm,||y||Vn分别为Cm,Cn的向量范数。从而利用矩阵范数相容性可得任给y(Cn,||Ay||Vm=||Ay(aH||M=||A(y(aH)||M
(||A||M||y(aH||N=||A||M||y||Vn
从而成立结论。
例：Frobenius范数或称F-范数和||.||2范数相容.
||A||F=Tr(AHA)1/2=(( |aij|2)1/2
从属(算子)范数定理:设Cm与Cn的同类范数||.||，对于Cm(n上的矩阵A定义函数：
||A||=
是Cm(n上矩阵范数,且与已知的向量范数相容.
称为之由向量导出的范数,从属范数或算子范数。
这时我们实际上将A看作线性映射的矩阵表示.
定理 设A=(aij) (Cm(n,x=((1,(2,…,(n)T(Cn
则从属于向量x的三种范数||x||1,||x||2和||x||(
的矩阵范数依次是：
1）||A||1=(列范数)
2）||A||2=，其中(1为AHA的最大特征值;
3) ||A||(=(行范数)
必须特别注意，所有广义矩阵范数都是相互等价的。
范数的应用
1．矩阵非奇异性条件定理：设A(Cn(n,且对Cn(n的某矩阵范数||.||
满足||A||<1,则矩阵I(A非奇异，且有
1) ||(I(A)(1||( ||I||/(1(||A||)
2) ||I((I(A)(1||(||A||/(1(||A||)
逆矩阵的摄动
定理2.8 设矩阵A，B(Cn(n,A非奇异，且对
Cn(n的某矩阵范数||.||满足||A(1B||<1,则
1) 矩阵A+B非奇异;
2) F=I((I+A(1B)(1,||F||( || A(1B ||/(1(|| A(1B ||)
3) ||A(1((A+B)(1||/|| A(1|| (||A(1B||/(1(||A(1B||)
特别地 设B=(A,cond(A)=||A||(|| A(1||
则有
||A(1((A+(A)(1||/|| A(1|| (
其中 Cond(A)称为A的条件数，反映矩阵的摄动对其逆的影响。
矩阵的谱半径及其性质
定义 设A(Cn(n的n个特征值为(1,(2,…,(n,
称 ((A)= maxi |(i| 为A的谱半径.
定理,设A(Cn(n，则对A的任何一种矩阵范数||.||有 ((A)(||A||.
证明,对矩阵范数构造相应的相容向量范数
||.||Vn，从而有
设(为A的任意特征值,x为相应特征向量，
则有 |(|( ||x||Vn=||(x||Vn=||Ax||Vn
(||A||(||x||Vn.
从而有 |(|(||A||，由题设
((A)(||A||.
矩阵A的算子范数与谱：
算子范数 || (||
||A||1 ||A||2
((A)
矩阵A
