§ 4.3 协方差、相关系数和矩
一、协方差和相关系数的概念
对于二维随机变量,除了关心它的各个分
量的数学期望和方差外,还需要知道这两个分量之
间的相互关系,这种关系无法从各个分量的期望和
方差来说明,这就需要引进描述这两个分量之间相
互关系的数字特征 —— 协方差及相关系数,但如何
来刻画这种关系呢?
由 (4-17)知,若 相互独立,则 ;
若,则表示 X与 Y不独立,X与 Y之间
存在着一定的关系,据此,我们引入下列定义
),( YX
? ?? ?? ? 0??? EYYEXXEYX与
? ?? ?? ? 0??? EYYEXXE
定义 4.6 设 是二维随机变量,则称
为 X与 Y的 协方差 ( Covariance),记为 或, 即
( 4— 20)
若 且,则称
( 4— 21)
为 X与 Y的 相关系数 ( Correlation Coefficient),是
有量纲的量,而 则是无量纲的量.
协方差常用下列公式计算
事实上,
),( YX ? ?? ?? ?EYYEXXE ??
? ?YX,c ov XY?
? ? ?YX,c o v ?XY? ? ?? ?? ?EYYEXXE ??
0?? DXX? 0?? DYY?
XY?
YX
XY
??
??
DYDX
YX
?
? ),c o v (
? ?YX,c o v
XY?
? ? ? ? EYEXXYEYX ???,c o v
定理 4.1 (柯西 — 许瓦兹( Cauchy- Schwarz)不等式 )
( X,Y)为二维随机变量,若 和 存在,则
( 4— 28)
证明 因为,所以 存在, 另一方面,对
任意 λ,二次三项式
,( 4— 29)
可见上述关于 λ的二次三项式不可能有两个不同的实根,
因而判别式
即有 □
定理 4.2 设( X,Y)是二维随机变量,若 X与 Y的相关系
数 存在,则
( 1) ( 4— 30)
( 2) 的充要条件是存在常数 使,
? ?2XE ? ?2YE
? ? )()( 222 YEXEE X Y ??
? ?2221 YXXY ?? ? ?XYE
R?
? ? ? ? ? ? 02)( 2222 ????? YEXYEXEYXE ???
? ? 0)()(44 222 ????? YEXEEXY
? ? )()( 222 YEXEE X Y ??
XY?
1?XY?
1?XY?
? ?,0 b、a ? ? ? 1??? baXYP
证明 ( 1) 由定理 4.1知
,
因此,即,所以,
( 2)我们略去结论( 2)的充分性证明,这里只给出必要
性的证明:
将二次三项式( 4— 29)中的 X和 Y分别换为 和
则对任意 λ,有
,
即,
特别地,当 等于二次三项式的最小值点 时,上
式变为
? ?? ? ? ?? ?? ?? ? ? ? ? ? DYDXEYYEEXXEEYYEXXEYX ????????? 2222c o v,
1)c o v (
2
??
?
??
?
?
? DYDX
YX,
? ? 12 ?XY? 1?XY?
)( EXX ? )( EYY ?
R?
? ? ),c o v (2)()( 22 DYYXDXEYYEXXE ?????? ???
02)( 222 ????? YYXXYXYXD ????????
X
YXY
?
??? ??
0?
0 )1()( 220 ???? YXYYXD ???
由于,故, 根据方差性质 4,有
即
于是,存在常数 和 使 □
显然,利用( 4— 31)亦可证( 4— 30)的结论成立, 不过,
给出( 4— 31)的主要目的还在于证明结论( 2)的必要性,
定理 4.2表明,X与 Y的相关系数是衡量 X与 Y之间线性相关
程度的量.当 时,X与 Y依概率 1线性相关;特别当
时,Y随 X的增大而线性增大,此时称 X与 Y线性正相关
( Positive Correlation);当 时,Y随 X的增大而线性地减
小,此时称 X与 Y线性负相关 (Negative Correlation);当 变小
时,X与 Y的线性相关程度就变弱 ;如果 =0,X与 Y之间就不存
在线性关系,此时称 X与 Y不相关 ( Uncorrelated).
需要指出的是,这里的不相关,指的是从线性关系上看没有
关联,并非 X与 Y之间没有任何关系,也许此时还存在别的关系.
1?XY? 0)( 0 ?? YXD ?
? ?)( 00 YXEYXP ??? ?? 1? ? ? 1)()( 00 ????? YXEXYP ??
0???a )( 0 YXEb ?? ? ? ? 1??? baXYP
1?XY?
1?XY?
1??XY?
XY?
XY?
独立与不相关都是随机变量之间相互联系程度的一种反映,
独立指的是 X与 Y没有任何关系,不相关指的 X与 Y之间没有线
性相关关系.
事实上,若 X与 Y独立,则 X与 Y一定不相关(这可以利用
( 4- 10)和( 4- 19)进行证明);但反过来,若 X与 Y不相
关,则 X与 Y却未必独立.
然而,对于二维正态随机变量 而言,X与 Y的独立性
与不相关性却是等价的,我们有如下结果:
定理 4.3 设 则
( 4— 32)
证明 显然,我们有
,而
),( YX
? ? ? ??????,NYX 222121,,,~,
?? ?XY
? ? 222211,,,???? ???? DYEYDXXE
推论 设,则 X与 Y相互独立的
充要条件是 X与 Y不相关.
证明 由定理 3.3知,若,则 X
与 Y相互独立的充要条件是,由定理 4.3知,,因
此,X与 Y相互独立的充要条件是 X与 Y不相关,□
根据上面的讨论,二维正态随机变量 的概率密度中
的参数 就是 X和 Y的相关系数,因而二维正态随机变量
的分布就完全可由 X和 Y的数学期望、方差以及它们的相关系
数所确定.
随机变量除了前面介绍的数学期望、方差、协方差以及它
们的相关系数等数字特征外,还存在许多其它的数字特征,下
面介绍另外几种常见的数字特征.
三、矩的概念
? ? ? ??????,NYX 222121,,,~,
? ? ? ??????,NYX 222121,,,~,
0?? ?? ?XY
),( YX
? ),( YX
1,k阶原点矩
定义 4.7 设 X是随机变量,若 ( )存在,
则称它为 X的 阶原点矩,简称 阶矩,记为,即
( 4— 33)
显然,X的数学期望是 X的一阶原点矩,即,
2,阶中心矩
定义 4.8 设 X是随机变量,若 (,)存
在,则称它为 X的 k阶中心矩,记为,即
,( 4— 34)
显然,X的方差是 X的二阶中心矩,即,
3,阶原点混合矩
定义 4.9 设 是二维随机变量,若 (,)
)( kXE,,2,1 ??k
k k
k?
?,2,1)( ?? kXE kk?
1??EX
k
kEXXE ][ ? ?,2,1?k
?,2,1][ ??? kEXXEv kK
2vDX ?
lk ?
),( YX )( lk YXE ? ?,2,1,?lk
存在,则称它为 X 与 Y的 阶 混合原点矩,简称 阶混
合矩,记为,即
( 4— 35)
由 可知,协方差可用 ( )的 1+1阶混
合原点矩 X与 Y和的一阶原点矩表示.
4,阶中心混合矩
定义 4.10 设 是二维随机变量,若 ( )
存在,则称它为 X与 Y的 阶 混合中心矩, 记为,即
( 4— 36)
显然,X与 Y的协方差是 X与 Y的 1+1阶混合中心矩,即
由上可以看到,前面介绍的一些数字特征(如数学期望、方差、
协方差等)均可用矩来表示,可见矩是最广泛的一种数字
特征,在概率论和数理统计的研究中应用广泛.
lk ? lk ?
LK,?
)(,lklk YXE ???
XYEXXYEYX ??? )(),c o v ( YX,
lk ?
),( YX ])()[( lk EYYEXXE ??,,2,1,??lk
lk ? lkr
?,2,1,])()[(,????? lkEYYEXXEr lklk
),c o v (1,1 YXr ?