信息科学与工程学院 矩阵理论第 5讲 -1
矩阵理论 -第五讲
兰州大学信息科学与工程学院
2004年
信息科学与工程学院 矩阵理论第 5讲 -2
上节内容回顾
? Hamilton-Cayley定理
– 任一方阵都是它的特征多项式的根
– 多项式的带余除法
? 方阵的零化多项式
? 方阵的最小多项式
? 多项式矩阵的逆、单模矩阵
? 多项式矩阵的互质性简介
– 右公因子
– 左公因子
– 最大右公因子 gcrd
– gcrd的构造定理
? 多项式矩阵的既约性简介
– 多项式矩阵的行次数和列次数、行次表示式和列次表示式
信息科学与工程学院 矩阵理论第 5讲 -3
内积空间
? 内积空间
设 X是实数域或复数域上的线性空间，其中定义了一个 二元数值
函数
满足下列条件,
1,对第一变元的线性,
2,共轭对称性,
3,正定性,
且
则称此二元值函数 是 X上的 内积（ Inner product）, 定义了
内积的空间称为内积空间。 F = R时称 X为实内积空间,F = C时
称 X为复内积空间
??,
XzyxF ????,,,,??
zyzxzyx,,,???? ???
xyyx,,?
0,?xx 00,??? xxx
FXX ????,,
信息科学与工程学院 矩阵理论第 5讲 -4
内积空间
由内积的定义,
1,对第一变元的线性,
2,共轭对称性,
3,正定性,
且
中的条件 1和 2，可得
4,对第二变元的共轭线性
XzyxF ????,,,,??
zyzxzyx,,,???? ???
xyyx,,?
0,?xx 00,??? xxx
FXX ????,,
zxyxzyx,,,???? ???
zxyxxzxyxzzy
xzxyxzyzyx
,,,,,,
,,,,
??????
??????
??????
?????
信息科学与工程学院 矩阵理论第 5讲 -5
内积空间
内积的定义,
1,对第一变元的线性,
2,共轭对称性,
3,正定性,
且
由条件 1和 2，可得
4,对第二变元的共轭线性
由条件 1和 2，可得
5,
XzyxF ????,,,,??
zyzxzyx,,,???? ???
xyyx,,?
0,?xx 00,??? xxx
FXX ????,,
0,00,?? yx
0,,)(,0,?????? xxxxxxxx
0,,),(,0 ?????? yyyyyyyy
00,0 ?
信息科学与工程学院 矩阵理论第 5讲 -6
内积空间
– 内积空间举例,
1,n维欧氏 (Euclid)空间 Rn,
2,n维复欧氏 (Euclid)空间 Cn,
3,实 l2空间,
此空间中的点为无穷维向量，每个向量的所有坐标是平方可
和的,
取 p = 2,收敛
? ?? ni iiyx 1,??
? ?? ni iiyx 1,??
),,,( 21 nx ??? ??
),,,( 21 ny ??? ??
),,,,( 21 ?? ix ????
???? ??1 2i i? ? ??? 1,i iiyx ??
),,,,( 21 ?? iy ???? ),,,,( 21 ?? iz ????
qp q
i i
p
i ii ii
11 )()(
111 ???
?
?
?
?
?
? ? ???? 1
11,1 ???
qpp
yx,FXXxx ??:,
H?lder不等式,
信息科学与工程学院 矩阵理论第 5讲 -7
内积空间
– Cauchy-Schwarz inequality (柯西 -许瓦兹不等式 )
设 是 X上的内积，则
证明,当 x,y其中之一为零向量时，等式成立。现设, 有
令,
zyzx
zyx
i i iiii
iiiiii iii
,,
)()(,
1 1
11
????????
?????????????
????
?????
? ?
??
?
?
?
?
?
?
?
?
FXX ????,,Xyx ??,
yyxxyx,,,2 ?
),,(,,
,,,0
yyxyyxxx
yxyyxxyxyx
???
?????
????
???????
0?y F???
),,,,(,,,,,,0 yyyy yxxyyy yxyxyy yxxx ????yy yx,,??
信息科学与工程学院 矩阵理论第 5讲 -8
赋范空间
– 向量范数（ Norm）
设 X是数域 F上的线性空间, 定义在 X上的 实值函数 如果
满足以下条件
? 三角形不等式
? 绝对齐性
? 正定性,且
则称此实值函数是 X上的 范数（ Norm） 。 带有给定范数的线性空间
称为 赋范空间 。
yy
yx
xx
yy
yxyx
xx
yy
yy
yx
yy
yx
yy
yxyx
yy
yxyx
xx
,
,
,
,
,,
,
,
,
,
,
,
,
,,
,
,,
,0
2
????
????
),( ?X
RX ??,
yxyx ???
xx ?? ??
0?x 00 ??? xx
yyxxyx,,,2 ?
信息科学与工程学院 矩阵理论第 5讲 -9
赋范空间
– 定义了范数，即可定义 度量
有了度量，即可定义极限、进而定义收敛、连续性等。有了极限和收敛
即可定义 Cauchy列，定义了 Cauchy列，即可判断空间的完备性。
– 赋范空间举例 —— n维复 Euclid空间 Cn
在 Cn的内积定义
的基础上，定义
易验证，此范数满足范数的 3个条件，称为向量 x的 2-范数 或 长度 。
由 Cauchy-schwarz不等式
Xyxyxyxd ???,),(
2121 )(,212 ? ??? ni ixxx ?
? ?? ni iiyx 1,??
2
2
2
2
2
2
,Re2
,,,,,
yyxx
yyxyyxxxyxyxyx
???
????????
222
1),,(,,Re yxyxyxyxyx ???
xxxxyx,,,2 ?
对欧氏空间,内积的模
方不大于长度平方之积
Xyx ??,
信息科学与工程学院 矩阵理论第 5讲 -10
赋范空间
– n维复 Euclid空间 Cn
,定义
则 是范数,是带有范数 的赋范空间
,由绝对值不等式，条件 1很容易验证,
同样可验证条件 2,3
2
22
2
222
2
2
2
2
2
2
2
2
)(
2,Re2
yx
yyxxyyxxyx
??
???????
222 yxyx ???
2
2
2
2
1
2
1
2
1
2
1
,
),(),(,
xxx
xxxxxxx
??
??????
?
???
plx??
? ?? ni ix 11 ?
1x ),( 1xC n 1x
1-范数
Xyx ??,
1111
111 )(
yx
yx
n
i i
n
i i
n
i ii
n
i ii
????
?????
??
??
??
??
??
????
信息科学与工程学院 矩阵理论第 5讲 -11
赋范空间
– C[a,b],
设 C[a,b]是 [a,b]上实值或复值连续函数的 全体,在第一讲中我们已知此
空间是线性空间，对 定义
可以证明,是范数,C[a,b]是赋范空间。
? 上界
设,如果,使得,有,则称 c是 A的一个
上界,并称集合 A有上界 或 上有界
]},[:)(s u p { baxxff ??
],[ baCf ?
f
RA? Rc?? Aa?? ca?
信息科学与工程学院 矩阵理论第 5讲 -12
赋范空间
? 上确界（ Suprmum）
如果 A有上界，且 A的上界中有一个最小者 M,则称 M是 A的上确界
或最小上界，记作,上确界要满足两个条件
1 M是 A的一个上界
2 对 A的任一上界 c,有
由此，如果 A有上确界，则必是唯一的
如果 A无上界，可记作
同样可定义下界、下确界（ Infimum） 。 下确界也是唯
一的。如果不存在下确界，记作
现在证明线性空间 C[a,b]中定义的 是范数
,
,由上界的定义
由绝对值不等式
AM sup?
f
],[,21 baCff ?? F???
Am inf?
???Ainf
??Asup
cM?
)()(]},[:)()(s u p { 212121 m a x xfxfbaxxfxfff
bxa
??????
??
],[ bax ??
)()()()( 2121 xfxfxfxf ???
信息科学与工程学院 矩阵理论第 5讲 -13
赋范空间
是显然的
当且仅当,即 C[a,b]上恒为 0
的函数
)()(]},[:)()(s u p { 212121 m a x xfxfbaxxfxfff
bxa
??????
??
21
21
1121
] } ),[:)(s u p {]},[:)(s u p {
)()())()( m a xm a xm a x (
ff
baxxfbaxxf
xfxfxfxf
bxabxabxa
??
????
????
??????
1
11
111
]},[:)(s u p {)(
)(]},[:)(s u p {
m a x
m a x
f
baxxfxf
xfbaxxff
bxa
bxa
?
??
???
?
???
???
??
??
0]},[:)(s u p { 11 ??? baxxff
0]},[:)(s u p { 11 ??? baxxff 01?f
信息科学与工程学院 矩阵理论第 5讲 -14
赋范空间
– [a,b]上所有连续函数的全体构成的空间
已知此空间是线性空间，对此空间中的任一函数 f 定义
则 是范数,C[a,b]是赋范空间
– 空间 lp
此空间中的向量 为满足条件
的无穷维向量，由第一讲已知此空间是线性空间，对,定
义
由 Minkowski不等式
知 是范数，空间 lp是赋范空间
dxxff ba?? )(
f
),,,,( 21 ?? nx ????
???? p1???? ?
?
p
n n1 ?
Rp?
plx?
ppp p
n n
p
n n
p
n nn
111 )()()(
111 ???
?
?
?
?
?
? ??? ????
pp
n npx
1)(
1?
?
?? ? FXx p ?:
px
p-范数
信息科学与工程学院 矩阵理论第 5讲 -15
赋范空间
当 时，定义 为所有无穷维有界向量
构成的空间，对,定义
仿照 C[a,b]空间的做法，易证 是范数,是赋范空间
),,,,( 21 ?? nx ????
nx ?su p??
?l??p
??lx
?x ?l
qp q
i i
p
i ii ii
11 )()(
111 ???
?
?
?
?
?
? ? ???? 1
11,1 ???
qpp
H?lder不等式,
Minkowski不等式,
ppp p
n n
p
n n
p
n nn
111 )()()(
111 ???
?
?
?
?
?
? ??? ???? ???? p1
2121 )()( 21211 ??? ?????? ? i ii ii ii ????
Cauchy-Shwarz不等式,
取 p = 2
定义内积为
? ?? ni iiyx 1,??
还有积分形式
∞-范数
信息科学与工程学院 矩阵理论第 5讲 -16
线性空间、内积空间和赋范空间的关系
内积空间
赋范空间
Hilbert空间
完备
线性空间
n维实空间 Rn
? ?? ni iiyx 1,??
n维欧氏空间 n维复空间 C
n
n维复欧氏空间
（酉空间） ?
?? ni iiyx 1,??
Banach空间 完备
完备：空间中所有的 Cauchy列都收敛
xxx,2 ?
信息科学与工程学院 矩阵理论第 5讲 -17
范数在优化问题中的应用
– 由于线性空间中没有度量，不能引入开集、闭集、收敛性和连续
性的概念，所以引入范数，使之成为一个赋范线性空间
– 赋范线性空间在收敛上有缺陷，即不具备完备性。完备性在理论
分析和实际应用中有着重要意义，特别是在最优化理论中，当期
望找到一个使目标泛函达到最优的向量时，往往是先构造一个向
量序列，其中每个元素大部分优于其前面的元素，而最终所要求
的最优向量恰好是该序列的极限。在尚不知极限是何值的情况下，
必须要有一个判据确保这种算法步骤有效，这个判据就是完备性
– 引进 Cauchy列与完备性，使之成为一个 Banach空间，是讨论最优
化问题的基础，特别是最小范数问题与最佳逼近问题的基础
——王日爽《范函分析与最优化理论》，北航出版社
信息科学与工程学院 矩阵理论第 5讲 -18
范数在优化问题中的应用
– 变分引理
设 X是 Hilbert空间,K是 H中非空闭凸集，,则 K中存在着
唯一的点 使得
表示点 h到 K中点 k的
距离,
表示点 h到集合 K的距离
记作,此定理表
明存在唯一的点 达
到 h到 K中点的距离的最小值
——葛显良《应用泛函分析》，浙大出版社
K
K
h
0k
k
0k
Hh?
}:i n f {0 Kkkhkh ????
Kk ?0
}:i n f { 0 Kkkh ??
kh?
),dist ( Kh
信息科学与工程学院 矩阵理论第 5讲 -19
内积空间
– 投影定理
在 3维欧氏空间中，从一点到一个平面的最短距离，是由该点向
平面所作的垂直线段。推广到高维空间和无穷维 Hilbert空间时，
在最佳逼近,Fourier级数和最小范数问题中有着广泛的应用
设 M是 Hilbert空间 H中的闭线性子空间，,且 是 M中满
足 的唯一元素，则
反之，若 且,则
——王日爽、葛显良：同上
f
h
0f
M
Mf ? 0f
),d i s t (0 Mhfh ?? Mfh ?? 0
Mfh ?? 0 ),d i s t (0 Mhfh ??Mf ?0
信息科学与工程学院 矩阵理论第 5讲 -20
几个重要不等式的证明
– Young不等式
设,,则有
证明,
在平面上由方程 所定义的曲线在 [0,a]上围成曲边三角
形
111,1 ??? qpp Rba ??,0
q
b
p
aab qp ??
x
1?? pxy
y
0
1?? pxy
信息科学与工程学院 矩阵理论第 5讲 -21
几个重要不等式的证明
其面积为
另一方面，将此曲线用 来表示，在 y轴的区间 [0,b]上的
曲边三角形的面积为
比较以 a,b为边的矩形面积与两曲边三角形面积之和
p
adx
pdxx
pa
pa p ?? ?? ?
00
1 1
1?? qyx
111
1
11 ???? ??? qyyyx q qp
1
)1(
?
???
??
q
qpqpq
pqqp
q
bdy
qdyy
qb
qb q ?? ?? ?
00
1 1
q
b
p
aab qp ??
信息科学与工程学院 矩阵理论第 5讲 -22
几个重要不等式的证明
– 级数形式的 H?lder不等式
设,,则有
当右边的两个级数收敛时，左边的级数也收敛。
若 k > n时，,即得有限和的形式。
证明,
先对 正规化，使证明简化。令
那么, 。由 Young不等式
qp q
k k
p
k kk kk
11 )()(
111 ???
?
?
?
?
?
? ? ????
111,1 ??? qpp Ckk ???,
0?? kk ??
kk ??,
qp
qn
i i
k
kpn
i i
k
k ba 11
)()( 11 ?? ??
??
?
?
?
?
11 ?? ?ni pka 11 ?? ?ni qkb
信息科学与工程学院 矩阵理论第 5讲 -23
几个重要不等式的证明
两边求前 n项的和
代换回,得
当右边的两个级数收敛时，令,即证
q
b
p
aba qkpk
kk ??
111111 ????? ??? ??? qpq bp aba
n
k
q
k
n
k
p
kn
k kk
1
)()(
11
11
1 ??
??
?
??
?
qp
qn
k i
pn
i i
n
k kk
??
??
kk ??,
qp q
k k
pn
k k
n
k kk
11 )()(
111 ???
?
??? ? ????
??n
Cauchy-Shwarz不等式,取 p = 2,定义内积为 ?
??
n
i iiyx 1,??
信息科学与工程学院 矩阵理论第 5讲 -24
几个重要不等式的证明
– 级数形式的 Minkowski不等式
设,,则有
当右边的两个级数收敛时，左边的级数也收敛。
若 k > n时，,即得有限和的形式。
证明,
p = 1时，由绝对值不等式，结论成立。设 p > 1
Ckk ?? ??,
0?? kk ??
???? p1
ppp p
k k
p
k k
p
k kk
111 )()()(
111 ???
?
?
?
?
?
? ??? ????
? ?? ?
??
??
?
?
??
?
?
?
??
?
??
?
??
?
??
?
?
?
????
????
????
1
)1(
11
)1(
1
1
1
1
1
1
11
1111
)()()()(
k
qp
k kk
p
kk
qp
k kk
p
k
k
p
k kkk
p
k kk
kk
p
k kk
p
k kk
qpqp ??????
??????
??????
绝对值不等式,
kkkk ???? ???
q p
H?lder不等式,
信息科学与工程学院 矩阵理论第 5讲 -25
范数的等价性
两边除以,注意到,即证。
– 范数的等价性
? 赋范空间的极限和收敛 ——《矩阵论简明教程,p43
定义,如果序列,,当 时，称
收敛于 x,x为 的极限，记作
? 范数等价的定义
如果 和 是定义在线性空间 X上的两个范数，称它们为
等价的，如果定义相同的收敛性
? ?
? ??
?
?
??
?
?
?
??
?
?
?
??
???
1
)1(
1
1
)1(
11
11
11
)()(
)()(
k
qp
k kk
p
k
k
qp
k kk
p
k
p
k kk
qp
qp
???
????? p
pq
111 ??qpk kk 1)( 1? ?? ? ??
Xxn ?}{ Xx?
xx nn ???lim
0lim ???? xx nn
nx
a? b?
00 ????? bnan xxxx
nx
信息科学与工程学院 矩阵理论第 5讲 -26
几个重要不等式的证明
? 范数等价的充要条件
如果 和 是定义在线性空间 X上的两个范数，则这两个
范数等价的充要条件是,使得,都有
证明,
? 充分性
如果条件成立，则当 时,
当 时,
所以，此两范数具有相同的收敛性，即它们是等价的。
? 必要性
反证法：若 和 等价，如果不存在,使得
0,?? ??
a? b?
Xx??
bab ????? ??
0?? bn xx 0???? bnan xxxx ?
0?? an xx 01 ???? anbn xxxx ?
a? b? 0??
信息科学与工程学院 矩阵理论第 5讲 -27
几个重要不等式的证明
对,,使得,否则,是存
在的，那么 两边同乘以
令,则,且
但
与, 等价矛盾，所以,使得
同理可证,使得
令,则,定理得证
Xxn ??
ba xxXx ????,
Nn?? bnan xnx ? n??
ban
n
aan
n
x
xn
x
x ?
an
n
n x
xy ? bnan yny ? 1??
aan
n
an x
xy
ny bn
1? 00 ?? bny 1?any
a? b? 0??? ba xxXx ????,
0???? ab xxXx ? ????,
?? ?? /1
ab xxXx ??? ?,
bnan xnx ?
anx
1
信息科学与工程学院 矩阵理论第 5讲 -28
有限维赋范空间的范数特性
– 定理
如果 X是数域 F上的有限维线性空间，则 X上的任意两个范数是等
价的 ——徐仲等《矩阵论简明教程,p41
– 引理
范数是连续的，即当 时,
证明,
xxn ?xxn ?
yyxyyxx ?????? yxyx ???
xxyxxyy ?????? yxxyxy ?????
yxyx ???
xxn ? 0?? xx n
xxn ?
信息科学与工程学院 矩阵理论第 5讲 -29
有限维赋范空间的范数特性
– 引理
设 f是定义在赋范空间 X的紧集 A上的连续实泛函，即 连
续，则 f在 A上取到最大值和最小值
——葛显良《应用泛函分析,p113
证明（有限维线性空间上范数是等价的）,
设 X是 n维线性空间,
单位球面 是 X中的有界紧集故
在 S上可取到最大值和最小值，设分别为 和
则,当 时,
RAf ?:
)( xx a ??
)(x?},1:{
2 XxxxS ???
11 2
222
?? xxxx
0?x
Sxx ?
2
?? ??0
??
??? ????
222
)( xxxxxx a
a
信息科学与工程学院 矩阵理论第 5讲 -30
有限维赋范空间的范数特性
因此
同理，对定义在有限维赋范空间 X上的范数,可得
即 与 等价
22 xxx a ?? ??
22 xxx b ?? ???? ?? ????0
bab xxx ?
?
?
?
????
ax
bx
bx
信息科学与工程学院 矩阵理论第 5讲 -31
内积空间的正交性
– 正交性
? 向量的正交性
设 X为内积空间，,若,则称 x,y为正交的（或
直交的），记作
? 集合的正交性
设,若,,有,则称 A与 B正交，
记作
? 向量与集合的正交
对向量 x,若,均有,则称 x与 A正交，记作
– 零向量 0与任何向量 x正交，也与任何集合 A正交
– 多维空间的勾股定理
若 在 X中两两正交，则
Xyx ?,0,?yx
yx?
XBA ?,Aa?? Bb?? ba?
BA?
Aa?? ax? Ax?
nxxx,,,21 ?
2
2
2
22
2
21
2
221 nn xxxxxx ?? ??????
信息科学与工程学院 矩阵理论第 5讲 -32
内积空间的正交性
? 单位向量
对内积空间 X,, 若,则称 x为单位向量
? 向量的单位化或规范化
内积空间的非零向量除以其长度，称为将向量 x单位化或规范化
设 X是内积空间，,则
– 设 是内积空间 X的一组两两正交的非零向量，则
线性无关
证明,
设 令
考察 是否 。为此，对任意
Xx? 1
2 ?x
11 2
222
?? xxxx
Xx ??0
nxxx,,,21 ?
nxxx,,,21 ?
02211 ???? nn xxx ??? ?
021 ???? n??? ?
Fn ????,,,21 ?
njx j,,1,??
信息科学与工程学院 矩阵理论第 5讲 -33
内积空间的正交性
由对第一变元的线性
由于 两两正交，上式变为
而,，因此
这说明
即 线性无关
将线性代数中 Gram-Schmidt正交化程序构造标准正交向量组的方
法推广到内积空间 ——Gram-Schmidt正交化定理
0,2211 ???? jnn xxxx ??? ? nj,,1 ??
0,,,1211 ???? jnnjj xxxxxx ??? ?
0,?jjj xx?
nxxx,,,21 ?
nj,,1 ??
021 ???? n??? ?
0?jx nj,,1 ?? 0,?jj xx
nxxx,,,21 ?
信息科学与工程学院 矩阵理论第 5讲 -34
内积空间的正交性
– Gram-Schmidt正交化定理
设 X是内积空间，而 是 X中线性无关的子集，则存在
标准正交集,使得
证明,
因,令,则,
令,则
且,否则,线性相关，与假设矛盾。
令,则 是标准正交集，且
用数学归纳法：假设 是标准正交集，且
}:{ Nnx n ?
}:{ Nnen ?
},,s p a n {},,s p a n {,2121 nn xxxeeeNn ?? ???
01 ?x 111 xxe ? 11 ?e }s p a n {}s p a n { 11 xe ?
11222,eexxy ??
0,,,,11121212 ??? eeexexey 12 ey ?
02 ?y 21,xx
222 yye ? },{ 21 ee }s p a n {}s p a n { 11 xe ?
},s p an {},s p an { 2121 xxee ?
},,s p a n {},,s p a n { 2121 kk xxxeee ?? ?
},,{ 21 keee ?
信息科学与工程学院 矩阵理论第 5讲 -35
内积空间的正交性
令,则对
且,否则,线性相关，与假设矛盾
令,则 是标准正交集，且
又
所以
iki ikkk eexxy ? ? ??? ?? 1 111,kj,,1 ??
0,,
,,,,
11
1 111
???
??
??
? ??? ?
jkjk
ji
k
i ikjkjk
exex
eeexexey
jk ey ??1 kj,,1 ??
01 ??ky 121,,,,?kk xxxx ?
111 ??? ? kkk yye },,,,{ 121 ?kk eeee ?
},,s p an {},,s p an { 2121 nn xxxeee ?? ?
iki ikkk eexxy ? ? ??? ?? 1 111,
i
k
i ikkk
i
k
i ikkk
eexey
eexyx
?
?
? ???
? ???
??
??
1 111
1 111
,
,
},,s p an {},,s p an { 2121 nn eeexxx ?? ?
},,s p a n {},,s p a n {,2121 nn xxxeeeNn ?? ???
信息科学与工程学院 矩阵理论第 5讲 -36
矩阵理论 -第五讲
兰州大学信息科学与工程学院
2004年
信息科学与工程学院 矩阵理论第 5讲 -2
上节内容回顾
? Hamilton-Cayley定理
– 任一方阵都是它的特征多项式的根
– 多项式的带余除法
? 方阵的零化多项式
? 方阵的最小多项式
? 多项式矩阵的逆、单模矩阵
? 多项式矩阵的互质性简介
– 右公因子
– 左公因子
– 最大右公因子 gcrd
– gcrd的构造定理
? 多项式矩阵的既约性简介
– 多项式矩阵的行次数和列次数、行次表示式和列次表示式
信息科学与工程学院 矩阵理论第 5讲 -3
内积空间
? 内积空间
设 X是实数域或复数域上的线性空间，其中定义了一个 二元数值
函数
满足下列条件,
1,对第一变元的线性,
2,共轭对称性,
3,正定性,
且
则称此二元值函数 是 X上的 内积（ Inner product）, 定义了
内积的空间称为内积空间。 F = R时称 X为实内积空间,F = C时
称 X为复内积空间
??,
XzyxF ????,,,,??
zyzxzyx,,,???? ???
xyyx,,?
0,?xx 00,??? xxx
FXX ????,,
信息科学与工程学院 矩阵理论第 5讲 -4
内积空间
由内积的定义,
1,对第一变元的线性,
2,共轭对称性,
3,正定性,
且
中的条件 1和 2，可得
4,对第二变元的共轭线性
XzyxF ????,,,,??
zyzxzyx,,,???? ???
xyyx,,?
0,?xx 00,??? xxx
FXX ????,,
zxyxzyx,,,???? ???
zxyxxzxyxzzy
xzxyxzyzyx
,,,,,,
,,,,
??????
??????
??????
?????
信息科学与工程学院 矩阵理论第 5讲 -5
内积空间
内积的定义,
1,对第一变元的线性,
2,共轭对称性,
3,正定性,
且
由条件 1和 2，可得
4,对第二变元的共轭线性
由条件 1和 2，可得
5,
XzyxF ????,,,,??
zyzxzyx,,,???? ???
xyyx,,?
0,?xx 00,??? xxx
FXX ????,,
0,00,?? yx
0,,)(,0,?????? xxxxxxxx
0,,),(,0 ?????? yyyyyyyy
00,0 ?
信息科学与工程学院 矩阵理论第 5讲 -6
内积空间
– 内积空间举例,
1,n维欧氏 (Euclid)空间 Rn,
2,n维复欧氏 (Euclid)空间 Cn,
3,实 l2空间,
此空间中的点为无穷维向量，每个向量的所有坐标是平方可
和的,
取 p = 2,收敛
? ?? ni iiyx 1,??
? ?? ni iiyx 1,??
),,,( 21 nx ??? ??
),,,( 21 ny ??? ??
),,,,( 21 ?? ix ????
???? ??1 2i i? ? ??? 1,i iiyx ??
),,,,( 21 ?? iy ???? ),,,,( 21 ?? iz ????
qp q
i i
p
i ii ii
11 )()(
111 ???
?
?
?
?
?
? ? ???? 1
11,1 ???
qpp
yx,FXXxx ??:,
H?lder不等式,
信息科学与工程学院 矩阵理论第 5讲 -7
内积空间
– Cauchy-Schwarz inequality (柯西 -许瓦兹不等式 )
设 是 X上的内积，则
证明,当 x,y其中之一为零向量时，等式成立。现设, 有
令,
zyzx
zyx
i i iiii
iiiiii iii
,,
)()(,
1 1
11
????????
?????????????
????
?????
? ?
??
?
?
?
?
?
?
?
?
FXX ????,,Xyx ??,
yyxxyx,,,2 ?
),,(,,
,,,0
yyxyyxxx
yxyyxxyxyx
???
?????
????
???????
0?y F???
),,,,(,,,,,,0 yyyy yxxyyy yxyxyy yxxx ????yy yx,,??
信息科学与工程学院 矩阵理论第 5讲 -8
赋范空间
– 向量范数（ Norm）
设 X是数域 F上的线性空间, 定义在 X上的 实值函数 如果
满足以下条件
? 三角形不等式
? 绝对齐性
? 正定性,且
则称此实值函数是 X上的 范数（ Norm） 。 带有给定范数的线性空间
称为 赋范空间 。
yy
yx
xx
yy
yxyx
xx
yy
yy
yx
yy
yx
yy
yxyx
yy
yxyx
xx
,
,
,
,
,,
,
,
,
,
,
,
,
,,
,
,,
,0
2
????
????
),( ?X
RX ??,
yxyx ???
xx ?? ??
0?x 00 ??? xx
yyxxyx,,,2 ?
信息科学与工程学院 矩阵理论第 5讲 -9
赋范空间
– 定义了范数，即可定义 度量
有了度量，即可定义极限、进而定义收敛、连续性等。有了极限和收敛
即可定义 Cauchy列，定义了 Cauchy列，即可判断空间的完备性。
– 赋范空间举例 —— n维复 Euclid空间 Cn
在 Cn的内积定义
的基础上，定义
易验证，此范数满足范数的 3个条件，称为向量 x的 2-范数 或 长度 。
由 Cauchy-schwarz不等式
Xyxyxyxd ???,),(
2121 )(,212 ? ??? ni ixxx ?
? ?? ni iiyx 1,??
2
2
2
2
2
2
,Re2
,,,,,
yyxx
yyxyyxxxyxyxyx
???
????????
222
1),,(,,Re yxyxyxyxyx ???
xxxxyx,,,2 ?
对欧氏空间,内积的模
方不大于长度平方之积
Xyx ??,
信息科学与工程学院 矩阵理论第 5讲 -10
赋范空间
– n维复 Euclid空间 Cn
,定义
则 是范数,是带有范数 的赋范空间
,由绝对值不等式，条件 1很容易验证,
同样可验证条件 2,3
2
22
2
222
2
2
2
2
2
2
2
2
)(
2,Re2
yx
yyxxyyxxyx
??
???????
222 yxyx ???
2
2
2
2
1
2
1
2
1
2
1
,
),(),(,
xxx
xxxxxxx
??
??????
?
???
plx??
? ?? ni ix 11 ?
1x ),( 1xC n 1x
1-范数
Xyx ??,
1111
111 )(
yx
yx
n
i i
n
i i
n
i ii
n
i ii
????
?????
??
??
??
??
??
????
信息科学与工程学院 矩阵理论第 5讲 -11
赋范空间
– C[a,b],
设 C[a,b]是 [a,b]上实值或复值连续函数的 全体,在第一讲中我们已知此
空间是线性空间，对 定义
可以证明,是范数,C[a,b]是赋范空间。
? 上界
设,如果,使得,有,则称 c是 A的一个
上界,并称集合 A有上界 或 上有界
]},[:)(s u p { baxxff ??
],[ baCf ?
f
RA? Rc?? Aa?? ca?
信息科学与工程学院 矩阵理论第 5讲 -12
赋范空间
? 上确界（ Suprmum）
如果 A有上界，且 A的上界中有一个最小者 M,则称 M是 A的上确界
或最小上界，记作,上确界要满足两个条件
1 M是 A的一个上界
2 对 A的任一上界 c,有
由此，如果 A有上确界，则必是唯一的
如果 A无上界，可记作
同样可定义下界、下确界（ Infimum） 。 下确界也是唯
一的。如果不存在下确界，记作
现在证明线性空间 C[a,b]中定义的 是范数
,
,由上界的定义
由绝对值不等式
AM sup?
f
],[,21 baCff ?? F???
Am inf?
???Ainf
??Asup
cM?
)()(]},[:)()(s u p { 212121 m a x xfxfbaxxfxfff
bxa
??????
??
],[ bax ??
)()()()( 2121 xfxfxfxf ???
信息科学与工程学院 矩阵理论第 5讲 -13
赋范空间
是显然的
当且仅当,即 C[a,b]上恒为 0
的函数
)()(]},[:)()(s u p { 212121 m a x xfxfbaxxfxfff
bxa
??????
??
21
21
1121
] } ),[:)(s u p {]},[:)(s u p {
)()())()( m a xm a xm a x (
ff
baxxfbaxxf
xfxfxfxf
bxabxabxa
??
????
????
??????
1
11
111
]},[:)(s u p {)(
)(]},[:)(s u p {
m a x
m a x
f
baxxfxf
xfbaxxff
bxa
bxa
?
??
???
?
???
???
??
??
0]},[:)(s u p { 11 ??? baxxff
0]},[:)(s u p { 11 ??? baxxff 01?f
信息科学与工程学院 矩阵理论第 5讲 -14
赋范空间
– [a,b]上所有连续函数的全体构成的空间
已知此空间是线性空间，对此空间中的任一函数 f 定义
则 是范数,C[a,b]是赋范空间
– 空间 lp
此空间中的向量 为满足条件
的无穷维向量，由第一讲已知此空间是线性空间，对,定
义
由 Minkowski不等式
知 是范数，空间 lp是赋范空间
dxxff ba?? )(
f
),,,,( 21 ?? nx ????
???? p1???? ?
?
p
n n1 ?
Rp?
plx?
ppp p
n n
p
n n
p
n nn
111 )()()(
111 ???
?
?
?
?
?
? ??? ????
pp
n npx
1)(
1?
?
?? ? FXx p ?:
px
p-范数
信息科学与工程学院 矩阵理论第 5讲 -15
赋范空间
当 时，定义 为所有无穷维有界向量
构成的空间，对,定义
仿照 C[a,b]空间的做法，易证 是范数,是赋范空间
),,,,( 21 ?? nx ????
nx ?su p??
?l??p
??lx
?x ?l
qp q
i i
p
i ii ii
11 )()(
111 ???
?
?
?
?
?
? ? ???? 1
11,1 ???
qpp
H?lder不等式,
Minkowski不等式,
ppp p
n n
p
n n
p
n nn
111 )()()(
111 ???
?
?
?
?
?
? ??? ???? ???? p1
2121 )()( 21211 ??? ?????? ? i ii ii ii ????
Cauchy-Shwarz不等式,
取 p = 2
定义内积为
? ?? ni iiyx 1,??
还有积分形式
∞-范数
信息科学与工程学院 矩阵理论第 5讲 -16
线性空间、内积空间和赋范空间的关系
内积空间
赋范空间
Hilbert空间
完备
线性空间
n维实空间 Rn
? ?? ni iiyx 1,??
n维欧氏空间 n维复空间 C
n
n维复欧氏空间
（酉空间） ?
?? ni iiyx 1,??
Banach空间 完备
完备：空间中所有的 Cauchy列都收敛
xxx,2 ?
信息科学与工程学院 矩阵理论第 5讲 -17
范数在优化问题中的应用
– 由于线性空间中没有度量，不能引入开集、闭集、收敛性和连续
性的概念，所以引入范数，使之成为一个赋范线性空间
– 赋范线性空间在收敛上有缺陷，即不具备完备性。完备性在理论
分析和实际应用中有着重要意义，特别是在最优化理论中，当期
望找到一个使目标泛函达到最优的向量时，往往是先构造一个向
量序列，其中每个元素大部分优于其前面的元素，而最终所要求
的最优向量恰好是该序列的极限。在尚不知极限是何值的情况下，
必须要有一个判据确保这种算法步骤有效，这个判据就是完备性
– 引进 Cauchy列与完备性，使之成为一个 Banach空间，是讨论最优
化问题的基础，特别是最小范数问题与最佳逼近问题的基础
——王日爽《范函分析与最优化理论》，北航出版社
信息科学与工程学院 矩阵理论第 5讲 -18
范数在优化问题中的应用
– 变分引理
设 X是 Hilbert空间,K是 H中非空闭凸集，,则 K中存在着
唯一的点 使得
表示点 h到 K中点 k的
距离,
表示点 h到集合 K的距离
记作,此定理表
明存在唯一的点 达
到 h到 K中点的距离的最小值
——葛显良《应用泛函分析》，浙大出版社
K
K
h
0k
k
0k
Hh?
}:i n f {0 Kkkhkh ????
Kk ?0
}:i n f { 0 Kkkh ??
kh?
),dist ( Kh
信息科学与工程学院 矩阵理论第 5讲 -19
内积空间
– 投影定理
在 3维欧氏空间中，从一点到一个平面的最短距离，是由该点向
平面所作的垂直线段。推广到高维空间和无穷维 Hilbert空间时，
在最佳逼近,Fourier级数和最小范数问题中有着广泛的应用
设 M是 Hilbert空间 H中的闭线性子空间，,且 是 M中满
足 的唯一元素，则
反之，若 且,则
——王日爽、葛显良：同上
f
h
0f
M
Mf ? 0f
),d i s t (0 Mhfh ?? Mfh ?? 0
Mfh ?? 0 ),d i s t (0 Mhfh ??Mf ?0
信息科学与工程学院 矩阵理论第 5讲 -20
几个重要不等式的证明
– Young不等式
设,,则有
证明,
在平面上由方程 所定义的曲线在 [0,a]上围成曲边三角
形
111,1 ??? qpp Rba ??,0
q
b
p
aab qp ??
x
1?? pxy
y
0
1?? pxy
信息科学与工程学院 矩阵理论第 5讲 -21
几个重要不等式的证明
其面积为
另一方面，将此曲线用 来表示，在 y轴的区间 [0,b]上的
曲边三角形的面积为
比较以 a,b为边的矩形面积与两曲边三角形面积之和
p
adx
pdxx
pa
pa p ?? ?? ?
00
1 1
1?? qyx
111
1
11 ???? ??? qyyyx q qp
1
)1(
?
???
??
q
qpqpq
pqqp
q
bdy
qdyy
qb
qb q ?? ?? ?
00
1 1
q
b
p
aab qp ??
信息科学与工程学院 矩阵理论第 5讲 -22
几个重要不等式的证明
– 级数形式的 H?lder不等式
设,,则有
当右边的两个级数收敛时，左边的级数也收敛。
若 k > n时，,即得有限和的形式。
证明,
先对 正规化，使证明简化。令
那么, 。由 Young不等式
qp q
k k
p
k kk kk
11 )()(
111 ???
?
?
?
?
?
? ? ????
111,1 ??? qpp Ckk ???,
0?? kk ??
kk ??,
qp
qn
i i
k
kpn
i i
k
k ba 11
)()( 11 ?? ??
??
?
?
?
?
11 ?? ?ni pka 11 ?? ?ni qkb
信息科学与工程学院 矩阵理论第 5讲 -23
几个重要不等式的证明
两边求前 n项的和
代换回,得
当右边的两个级数收敛时，令,即证
q
b
p
aba qkpk
kk ??
111111 ????? ??? ??? qpq bp aba
n
k
q
k
n
k
p
kn
k kk
1
)()(
11
11
1 ??
??
?
??
?
qp
qn
k i
pn
i i
n
k kk
??
??
kk ??,
qp q
k k
pn
k k
n
k kk
11 )()(
111 ???
?
??? ? ????
??n
Cauchy-Shwarz不等式,取 p = 2,定义内积为 ?
??
n
i iiyx 1,??
信息科学与工程学院 矩阵理论第 5讲 -24
几个重要不等式的证明
– 级数形式的 Minkowski不等式
设,,则有
当右边的两个级数收敛时，左边的级数也收敛。
若 k > n时，,即得有限和的形式。
证明,
p = 1时，由绝对值不等式，结论成立。设 p > 1
Ckk ?? ??,
0?? kk ??
???? p1
ppp p
k k
p
k k
p
k kk
111 )()()(
111 ???
?
?
?
?
?
? ??? ????
? ?? ?
??
??
?
?
??
?
?
?
??
?
??
?
??
?
??
?
?
?
????
????
????
1
)1(
11
)1(
1
1
1
1
1
1
11
1111
)()()()(
k
qp
k kk
p
kk
qp
k kk
p
k
k
p
k kkk
p
k kk
kk
p
k kk
p
k kk
qpqp ??????
??????
??????
绝对值不等式,
kkkk ???? ???
q p
H?lder不等式,
信息科学与工程学院 矩阵理论第 5讲 -25
范数的等价性
两边除以,注意到,即证。
– 范数的等价性
? 赋范空间的极限和收敛 ——《矩阵论简明教程,p43
定义,如果序列,,当 时，称
收敛于 x,x为 的极限，记作
? 范数等价的定义
如果 和 是定义在线性空间 X上的两个范数，称它们为
等价的，如果定义相同的收敛性
? ?
? ??
?
?
??
?
?
?
??
?
?
?
??
???
1
)1(
1
1
)1(
11
11
11
)()(
)()(
k
qp
k kk
p
k
k
qp
k kk
p
k
p
k kk
qp
qp
???
????? p
pq
111 ??qpk kk 1)( 1? ?? ? ??
Xxn ?}{ Xx?
xx nn ???lim
0lim ???? xx nn
nx
a? b?
00 ????? bnan xxxx
nx
信息科学与工程学院 矩阵理论第 5讲 -26
几个重要不等式的证明
? 范数等价的充要条件
如果 和 是定义在线性空间 X上的两个范数，则这两个
范数等价的充要条件是,使得,都有
证明,
? 充分性
如果条件成立，则当 时,
当 时,
所以，此两范数具有相同的收敛性，即它们是等价的。
? 必要性
反证法：若 和 等价，如果不存在,使得
0,?? ??
a? b?
Xx??
bab ????? ??
0?? bn xx 0???? bnan xxxx ?
0?? an xx 01 ???? anbn xxxx ?
a? b? 0??
信息科学与工程学院 矩阵理论第 5讲 -27
几个重要不等式的证明
对,,使得,否则,是存
在的，那么 两边同乘以
令,则,且
但
与, 等价矛盾，所以,使得
同理可证,使得
令,则,定理得证
Xxn ??
ba xxXx ????,
Nn?? bnan xnx ? n??
ban
n
aan
n
x
xn
x
x ?
an
n
n x
xy ? bnan yny ? 1??
aan
n
an x
xy
ny bn
1? 00 ?? bny 1?any
a? b? 0??? ba xxXx ????,
0???? ab xxXx ? ????,
?? ?? /1
ab xxXx ??? ?,
bnan xnx ?
anx
1
信息科学与工程学院 矩阵理论第 5讲 -28
有限维赋范空间的范数特性
– 定理
如果 X是数域 F上的有限维线性空间，则 X上的任意两个范数是等
价的 ——徐仲等《矩阵论简明教程,p41
– 引理
范数是连续的，即当 时,
证明,
xxn ?xxn ?
yyxyyxx ?????? yxyx ???
xxyxxyy ?????? yxxyxy ?????
yxyx ???
xxn ? 0?? xx n
xxn ?
信息科学与工程学院 矩阵理论第 5讲 -29
有限维赋范空间的范数特性
– 引理
设 f是定义在赋范空间 X的紧集 A上的连续实泛函，即 连
续，则 f在 A上取到最大值和最小值
——葛显良《应用泛函分析,p113
证明（有限维线性空间上范数是等价的）,
设 X是 n维线性空间,
单位球面 是 X中的有界紧集故
在 S上可取到最大值和最小值，设分别为 和
则,当 时,
RAf ?:
)( xx a ??
)(x?},1:{
2 XxxxS ???
11 2
222
?? xxxx
0?x
Sxx ?
2
?? ??0
??
??? ????
222
)( xxxxxx a
a
信息科学与工程学院 矩阵理论第 5讲 -30
有限维赋范空间的范数特性
因此
同理，对定义在有限维赋范空间 X上的范数,可得
即 与 等价
22 xxx a ?? ??
22 xxx b ?? ???? ?? ????0
bab xxx ?
?
?
?
????
ax
bx
bx
信息科学与工程学院 矩阵理论第 5讲 -31
内积空间的正交性
– 正交性
? 向量的正交性
设 X为内积空间，,若,则称 x,y为正交的（或
直交的），记作
? 集合的正交性
设,若,,有,则称 A与 B正交，
记作
? 向量与集合的正交
对向量 x,若,均有,则称 x与 A正交，记作
– 零向量 0与任何向量 x正交，也与任何集合 A正交
– 多维空间的勾股定理
若 在 X中两两正交，则
Xyx ?,0,?yx
yx?
XBA ?,Aa?? Bb?? ba?
BA?
Aa?? ax? Ax?
nxxx,,,21 ?
2
2
2
22
2
21
2
221 nn xxxxxx ?? ??????
信息科学与工程学院 矩阵理论第 5讲 -32
内积空间的正交性
? 单位向量
对内积空间 X,, 若,则称 x为单位向量
? 向量的单位化或规范化
内积空间的非零向量除以其长度，称为将向量 x单位化或规范化
设 X是内积空间，,则
– 设 是内积空间 X的一组两两正交的非零向量，则
线性无关
证明,
设 令
考察 是否 。为此，对任意
Xx? 1
2 ?x
11 2
222
?? xxxx
Xx ??0
nxxx,,,21 ?
nxxx,,,21 ?
02211 ???? nn xxx ??? ?
021 ???? n??? ?
Fn ????,,,21 ?
njx j,,1,??
信息科学与工程学院 矩阵理论第 5讲 -33
内积空间的正交性
由对第一变元的线性
由于 两两正交，上式变为
而,，因此
这说明
即 线性无关
将线性代数中 Gram-Schmidt正交化程序构造标准正交向量组的方
法推广到内积空间 ——Gram-Schmidt正交化定理
0,2211 ???? jnn xxxx ??? ? nj,,1 ??
0,,,1211 ???? jnnjj xxxxxx ??? ?
0,?jjj xx?
nxxx,,,21 ?
nj,,1 ??
021 ???? n??? ?
0?jx nj,,1 ?? 0,?jj xx
nxxx,,,21 ?
信息科学与工程学院 矩阵理论第 5讲 -34
内积空间的正交性
– Gram-Schmidt正交化定理
设 X是内积空间，而 是 X中线性无关的子集，则存在
标准正交集,使得
证明,
因,令,则,
令,则
且,否则,线性相关，与假设矛盾。
令,则 是标准正交集，且
用数学归纳法：假设 是标准正交集，且
}:{ Nnx n ?
}:{ Nnen ?
},,s p a n {},,s p a n {,2121 nn xxxeeeNn ?? ???
01 ?x 111 xxe ? 11 ?e }s p a n {}s p a n { 11 xe ?
11222,eexxy ??
0,,,,11121212 ??? eeexexey 12 ey ?
02 ?y 21,xx
222 yye ? },{ 21 ee }s p a n {}s p a n { 11 xe ?
},s p an {},s p an { 2121 xxee ?
},,s p a n {},,s p a n { 2121 kk xxxeee ?? ?
},,{ 21 keee ?
信息科学与工程学院 矩阵理论第 5讲 -35
内积空间的正交性
令,则对
且,否则,线性相关，与假设矛盾
令,则 是标准正交集，且
又
所以
iki ikkk eexxy ? ? ??? ?? 1 111,kj,,1 ??
0,,
,,,,
11
1 111
???
??
??
? ??? ?
jkjk
ji
k
i ikjkjk
exex
eeexexey
jk ey ??1 kj,,1 ??
01 ??ky 121,,,,?kk xxxx ?
111 ??? ? kkk yye },,,,{ 121 ?kk eeee ?
},,s p an {},,s p an { 2121 nn xxxeee ?? ?
iki ikkk eexxy ? ? ??? ?? 1 111,
i
k
i ikkk
i
k
i ikkk
eexey
eexyx
?
?
? ???
? ???
??
??
1 111
1 111
,
,
},,s p an {},,s p an { 2121 nn eeexxx ?? ?
},,s p a n {},,s p a n {,2121 nn xxxeeeNn ?? ???
信息科学与工程学院 矩阵理论第 5讲 -36
