Ch4-86
§ 4.4 协方差和相关系数问题 对于二维随机变量 (X,Y ):
已知联合分布 边缘分布对二维随机变量,除每个随机变量各自的概率特性外,相互之间可能还有某种联系问题是用一个怎样的数去反映这种联系,
[ ( ) ] [ ( ) ]E X E X Y E Y数反映了随机变量 X,Y 之间的某种关系
Ch4-87
称[ ( ) ] [ ( ) ]E X E X Y E Y
为 X,Y 的 协方差,记为
c o v (,) [ ( ) ] [ ( ) ]X Y E X E X Y E Y
称?
)(),c o v (
),c o v ()(
YDYX
YXXD
为( X,Y ) 的 协方差矩阵可以证明 协方差矩阵 为 半正定矩阵协方差和相关系数的定义定义
Ch4-88
若 D (X ) > 0,D (Y ) > 0,称
)()(
),c o v (
)()(
)())(((
YDXD
YX
YDXD
YEYXEXE
为 X,Y 的 相关系数,记为
)()(
),c o v (
YDXD
YX
XY
事实上,),c o v ( YXXY?
若,0?XY? 称 X,Y 不相关,
无量纲的量
Ch4-89
若 ( X,Y ) 为离散型,
11
c o v (,) [ ( ) ] [ ( ) ]i j i j
ij
X Y x E X y E Y p
若 ( X,Y ) 为连续型,
c o v (,) [ ( ) ] [ ( ) ] (,)X Y x E X y E Y f x y d x d y
协方差和相关系数的计算
)()()(),c o v ( YEXEXYEYX
)()()(
2
1 YDXDYXD
Ch4-90
求 cov (X,Y ),?XY
1 0
p q
X
P
1 0
p q
Y
P
例 1 已知 X,Y 的联合分布为
X
Y
pij 1 0
1
0
p 0
0 q
0 < p <1
p + q = 1
解
1 0
p q
X Y
P
Ch4-91
,)(,)(
,)(,)(
pqYDpqXD
pYEpXE
,)( pXYE?
1,),c o v ( XYpqYX?
Ch4-92
例 2 设 ( X,Y ) ~ N (?1,?12;?2,?22 ;?),求?XY
解 d xd yyxfyxYX ),())((),c o v ( 21
d s d test
tts 22
2 2
1
)(
)1(2
1
d u d teutt
t
u 2
2
2
2
1
)1(2)(
2
21
12
uts
令
2
21
12
sx
1
1
ty
2
2
Ch4-93 dtetdue
t
u
2
2
2
2
1
2)1(2
2
21
12
21?
XY
若 ( X,Y ) ~ N (?1,?12,?2,?22,?),
则 X,Y 相互独立 X,Y 不相关
Ch4-94
例 3 设?~ U(0,2?),X=cos?,Y=cos(? +? ),
是给定的常数,求?XY
解
其他
,20,
2
1
)(
t
tf
,0
2
1
)c o s ()(
,0
2
1
c o s)(
2
0
2
0
dttYE
dttXE
Ch4-95?
c o s
2
1
2
1)c o s ()c o s ()( 2
0
dtttXYE
c o s
2
1),c o v (?YX
,
2
1
2
1
)(c o s)(
,
2
1
2
1
c o s)(
2
0
22
2
0
22
dttYE
dttXE
,
2
1
)(
,
2
1
)(
YD
XD
c o s?XY
Ch4-96
,0若 1?XY? XY?
,若 1XY? XY
1||?XY? YX,有线性关系
,23,2若 0?
XY? YX,不相关,
但 YX,不独立,
YX,没有线性关系,但有函数关系
122 YX
Ch4-97
协方差的性质
c o v (,) c o v (,)X Y Y X?
),c o v (),c o v ( YXabbYaX?
),c o v (),c o v (),c o v ( ZYZXZYX
)(),c o v ( XDXX?
协方差和相关系数的性质
( ) ( ) ( )E X Y E X E Y
Ch4-98
)()(|),c o v (| 2 YDXDYX?
当 D(X ) > 0,D(Y ) > 0 时,当且仅当
0( ) [ ( ) ] 1P Y E Y t X E X
时,等式成立 — Cauchy-Schwarz不等式证 令 2( ) [ ( ) ] [ ( ) ]g t E Y E Y t X E X
)(),c o v (2)( 2 XDtYXtYD
0)(?tg对任何实数 t,
Ch4-99
0)()(4),(c o v4 2 YDXDYX
即 )()(|),c o v (| 2 YDXDYX?
等号成立 0)(?tg 有两个相等的实零点?
)(
)(
)(
),c o v (
0 XD
YD
XD
YXt
0))](())([( 20 XEXtYEYE
0)( 0?tg 即显然 0))](())([( 0 XEXtYEYE
Ch4-100 0))](())([(
0 XEXtYEYD
1]0))(())([( 0 XEXtYEYP
1]0))(())([( 0 XEXtYEYP
即 1))](())([( 0 XEXtYEYP
即 Y 与 X 有线性关系的概率等于 1,这种线性关系为 1
)(
)(
)(
)(
XD
XEX
YD
YEY
P
Ch4-101
完全类似地可以证明
)()()( 222 YEXEXYE?
当 E(X 2) > 0,E(Y 2 ) > 0 时,当且仅当
1)( 0 XtYP
时,等式成立,
Ch4-102
相关系数的性质
1||?XY?
1||?XY? Cauchy-Schwarz不等式的等号成立即 Y 与 X 有线性关系的概率等于 1,
这种线性关系为
1 XYP
.)(/)(,)(/)( YDEYYYXDEXXX
Ch4-103
1?XY? 0),c o v (?YX
1XY? 0),c o v (?YX
1 XYP
1 XYP
Ch4-104
如例 1中 X,Y 的联合分布为
XYpij 1 0
1
0
p 0
0 q
0 < p <1
p + q = 1
./)(,/)( pqpYYpqpXX
1)( YXP
1?XY?已求得,则必有其中
Ch4-105
0?XY? X,Y 不相关
0),c o v (?YX
)()()( YEXEXYE?
)()()( YDXDYXD
X,Y 相互独立 X,Y 不相关若 ( X,Y ) 服从二维正态分布,
X,Y 相互独立 X,Y 不相关
Ch4-106例 4 设 ( X,Y ) ~ N ( 1,4; 1,4; 0.5 ),
Z = X + Y,求? XZ
解,4)()(,1)()( YDXDYEXE
1 / 2,c o v (,) 2XY XY
6),c o v (),c o v (),c o v ( YXXXZX
12),c o v (2)()(
)()(
YXYDXD
YXDZD
3 / 1 2 3 / 2,XZ
Ch4-107
作业 P.173 习题四
23 25
26 28
30 ~ 32
Ch4-108
若 X,Y 是两个 r.v.,用 X 的线性函数去逼近 Y 所产生的平均平方误差为
2)]([ baXYE
当取
)( XE
XD
YD
YEXEaYEb XY
)(
)(
)()(?)(
平均平方误差最小,
,
)(
),c o v (?
XD
YXa?
矩在线性回归中 的应用附录
Ch4-109
附例 设 X,Y 相互独立,且都服从 N ( 0,? 2),
U = aX + bY,V= aX - bY,a,b 为常数,
且都不为零,求?UV
解 )()()(),c o v ( VEUEUVEVU
)()()()(
)()( 2222
YbEXaEYbEXaE
YEbXEa
由
2)()(
,0)()(
YDXD
YEXE
22
22
)(
)(
YE
XE
222 )(),c o v (?baVU
Ch4-110
而 22222 )()()()(?baYDbXDaUD
22222 )()()()(?baYDbXDaVD
故 22
22
ba
ba
UV?
a,b 取何值时,U与 V 不相关?
此时,U与 V 是否独立?
继续讨论
Ch4-111
但 U~N (0,2a2? 2),V~N (0,2a2? 2 ),
)(
)(
YXaV
YXaU
)(
2
1
)(
2
1
VU
a
Y
VU
a
X
)(
2
1
),(
2
1
|
2
1
2
1
2
1
2
1
|),( vu
a
vu
a
f
aa
aa
vuf
XYUV
若 a = b,?UV = 0,则 U,V 不相关,
Ch4-112
)(
2
1)(
2
1
2
1),(
2 vuafvuafavuf YXUV
2
22
2
22
22 2
1
2
1
a
vu
a
vu
e
a 22
22
4
2)2(2
1?
a
vu
e
a
),0;2,0;2,0(~),( 2222 aaNVU
且 U,V 相互独立
§ 4.4 协方差和相关系数问题 对于二维随机变量 (X,Y ):
已知联合分布 边缘分布对二维随机变量,除每个随机变量各自的概率特性外,相互之间可能还有某种联系问题是用一个怎样的数去反映这种联系,
[ ( ) ] [ ( ) ]E X E X Y E Y数反映了随机变量 X,Y 之间的某种关系
Ch4-87
称[ ( ) ] [ ( ) ]E X E X Y E Y
为 X,Y 的 协方差,记为
c o v (,) [ ( ) ] [ ( ) ]X Y E X E X Y E Y
称?
)(),c o v (
),c o v ()(
YDYX
YXXD
为( X,Y ) 的 协方差矩阵可以证明 协方差矩阵 为 半正定矩阵协方差和相关系数的定义定义
Ch4-88
若 D (X ) > 0,D (Y ) > 0,称
)()(
),c o v (
)()(
)())(((
YDXD
YX
YDXD
YEYXEXE
为 X,Y 的 相关系数,记为
)()(
),c o v (
YDXD
YX
XY
事实上,),c o v ( YXXY?
若,0?XY? 称 X,Y 不相关,
无量纲的量
Ch4-89
若 ( X,Y ) 为离散型,
11
c o v (,) [ ( ) ] [ ( ) ]i j i j
ij
X Y x E X y E Y p
若 ( X,Y ) 为连续型,
c o v (,) [ ( ) ] [ ( ) ] (,)X Y x E X y E Y f x y d x d y
协方差和相关系数的计算
)()()(),c o v ( YEXEXYEYX
)()()(
2
1 YDXDYXD
Ch4-90
求 cov (X,Y ),?XY
1 0
p q
X
P
1 0
p q
Y
P
例 1 已知 X,Y 的联合分布为
X
Y
pij 1 0
1
0
p 0
0 q
0 < p <1
p + q = 1
解
1 0
p q
X Y
P
Ch4-91
,)(,)(
,)(,)(
pqYDpqXD
pYEpXE
,)( pXYE?
1,),c o v ( XYpqYX?
Ch4-92
例 2 设 ( X,Y ) ~ N (?1,?12;?2,?22 ;?),求?XY
解 d xd yyxfyxYX ),())((),c o v ( 21
d s d test
tts 22
2 2
1
)(
)1(2
1
d u d teutt
t
u 2
2
2
2
1
)1(2)(
2
21
12
uts
令
2
21
12
sx
1
1
ty
2
2
Ch4-93 dtetdue
t
u
2
2
2
2
1
2)1(2
2
21
12
21?
XY
若 ( X,Y ) ~ N (?1,?12,?2,?22,?),
则 X,Y 相互独立 X,Y 不相关
Ch4-94
例 3 设?~ U(0,2?),X=cos?,Y=cos(? +? ),
是给定的常数,求?XY
解
其他
,20,
2
1
)(
t
tf
,0
2
1
)c o s ()(
,0
2
1
c o s)(
2
0
2
0
dttYE
dttXE
Ch4-95?
c o s
2
1
2
1)c o s ()c o s ()( 2
0
dtttXYE
c o s
2
1),c o v (?YX
,
2
1
2
1
)(c o s)(
,
2
1
2
1
c o s)(
2
0
22
2
0
22
dttYE
dttXE
,
2
1
)(
,
2
1
)(
YD
XD
c o s?XY
Ch4-96
,0若 1?XY? XY?
,若 1XY? XY
1||?XY? YX,有线性关系
,23,2若 0?
XY? YX,不相关,
但 YX,不独立,
YX,没有线性关系,但有函数关系
122 YX
Ch4-97
协方差的性质
c o v (,) c o v (,)X Y Y X?
),c o v (),c o v ( YXabbYaX?
),c o v (),c o v (),c o v ( ZYZXZYX
)(),c o v ( XDXX?
协方差和相关系数的性质
( ) ( ) ( )E X Y E X E Y
Ch4-98
)()(|),c o v (| 2 YDXDYX?
当 D(X ) > 0,D(Y ) > 0 时,当且仅当
0( ) [ ( ) ] 1P Y E Y t X E X
时,等式成立 — Cauchy-Schwarz不等式证 令 2( ) [ ( ) ] [ ( ) ]g t E Y E Y t X E X
)(),c o v (2)( 2 XDtYXtYD
0)(?tg对任何实数 t,
Ch4-99
0)()(4),(c o v4 2 YDXDYX
即 )()(|),c o v (| 2 YDXDYX?
等号成立 0)(?tg 有两个相等的实零点?
)(
)(
)(
),c o v (
0 XD
YD
XD
YXt
0))](())([( 20 XEXtYEYE
0)( 0?tg 即显然 0))](())([( 0 XEXtYEYE
Ch4-100 0))](())([(
0 XEXtYEYD
1]0))(())([( 0 XEXtYEYP
1]0))(())([( 0 XEXtYEYP
即 1))](())([( 0 XEXtYEYP
即 Y 与 X 有线性关系的概率等于 1,这种线性关系为 1
)(
)(
)(
)(
XD
XEX
YD
YEY
P
Ch4-101
完全类似地可以证明
)()()( 222 YEXEXYE?
当 E(X 2) > 0,E(Y 2 ) > 0 时,当且仅当
1)( 0 XtYP
时,等式成立,
Ch4-102
相关系数的性质
1||?XY?
1||?XY? Cauchy-Schwarz不等式的等号成立即 Y 与 X 有线性关系的概率等于 1,
这种线性关系为
1 XYP
.)(/)(,)(/)( YDEYYYXDEXXX
Ch4-103
1?XY? 0),c o v (?YX
1XY? 0),c o v (?YX
1 XYP
1 XYP
Ch4-104
如例 1中 X,Y 的联合分布为
XYpij 1 0
1
0
p 0
0 q
0 < p <1
p + q = 1
./)(,/)( pqpYYpqpXX
1)( YXP
1?XY?已求得,则必有其中
Ch4-105
0?XY? X,Y 不相关
0),c o v (?YX
)()()( YEXEXYE?
)()()( YDXDYXD
X,Y 相互独立 X,Y 不相关若 ( X,Y ) 服从二维正态分布,
X,Y 相互独立 X,Y 不相关
Ch4-106例 4 设 ( X,Y ) ~ N ( 1,4; 1,4; 0.5 ),
Z = X + Y,求? XZ
解,4)()(,1)()( YDXDYEXE
1 / 2,c o v (,) 2XY XY
6),c o v (),c o v (),c o v ( YXXXZX
12),c o v (2)()(
)()(
YXYDXD
YXDZD
3 / 1 2 3 / 2,XZ
Ch4-107
作业 P.173 习题四
23 25
26 28
30 ~ 32
Ch4-108
若 X,Y 是两个 r.v.,用 X 的线性函数去逼近 Y 所产生的平均平方误差为
2)]([ baXYE
当取
)( XE
XD
YD
YEXEaYEb XY
)(
)(
)()(?)(
平均平方误差最小,
,
)(
),c o v (?
XD
YXa?
矩在线性回归中 的应用附录
Ch4-109
附例 设 X,Y 相互独立,且都服从 N ( 0,? 2),
U = aX + bY,V= aX - bY,a,b 为常数,
且都不为零,求?UV
解 )()()(),c o v ( VEUEUVEVU
)()()()(
)()( 2222
YbEXaEYbEXaE
YEbXEa
由
2)()(
,0)()(
YDXD
YEXE
22
22
)(
)(
YE
XE
222 )(),c o v (?baVU
Ch4-110
而 22222 )()()()(?baYDbXDaUD
22222 )()()()(?baYDbXDaVD
故 22
22
ba
ba
UV?
a,b 取何值时,U与 V 不相关?
此时,U与 V 是否独立?
继续讨论
Ch4-111
但 U~N (0,2a2? 2),V~N (0,2a2? 2 ),
)(
)(
YXaV
YXaU
)(
2
1
)(
2
1
VU
a
Y
VU
a
X
)(
2
1
),(
2
1
|
2
1
2
1
2
1
2
1
|),( vu
a
vu
a
f
aa
aa
vuf
XYUV
若 a = b,?UV = 0,则 U,V 不相关,
Ch4-112
)(
2
1)(
2
1
2
1),(
2 vuafvuafavuf YXUV
2
22
2
22
22 2
1
2
1
a
vu
a
vu
e
a 22
22
4
2)2(2
1?
a
vu
e
a
),0;2,0;2,0(~),( 2222 aaNVU
且 U,V 相互独立