第 11章 相关分析和回归分析相关和回归分析是研究事物的相互关系，测定它们联系的紧密程度，揭示其变化的具体形式和规律性的统计方法，
是构造各种经济模型、进行结构分析、政策评价、
预测和控制的重要工具。
主要内容相关分析 (Correlation Analysis)
回归分析 (Regression Analysis)
相关分析
相关的概念 变量之间关系函数关系相关关系 因果关系互为因果关系共变关系确定性依存关系随机性依存关系一元相关多元相关负 相 关正 相 关 线性相关曲线相关
y
正 相 关
y
负 相 关
y
曲线相关 x
y
不 相 关
相关的种类
x x x
简单线性相关相关分析的步骤相关系数 测定两变量是否线性相关
yx
xy
定义式：
搜集资料 整理资料 绘制相关图 相关关系的测定
yxn
yyxxr
))((未分组,
已分组,
2222 )()( yynxxn
yxxynr
])([])([
))((
2222
yyxx
yxxy
fyfynfxfxn
fyfxfyxnr
协方差与相关系数皮尔生的相关系数是对协方差标准化处理的结果，是对协方差的改进。
相关系数的显著性检验
|r|=0 不存在线性关系； |r|＝ 1 完全线性相关
0<|r|<1不同程度线性相关
(0~0.3 微弱； 0.3~0.5 低度； 0.5~0.8 显著； 0.8~1 高度 )
符号,r>0 正相关； r<0 负相关
H0,p=0,H1,p≠0
直接查相关系数检验表检验统计量 21 2|| rnrt
一元线性回归模型
基本概念
1 回归分析：研究变量间依存关系
2 回归与相关关系
3 回归模型的种类相关分析 回归分析联系
*研究变量间的不确定性关系，存在相关才能回归
*相关系数与回归模型中的参数相互换算区别
*变量地位对等
*都是随机变量
*侧重相关的密切程度和变化方向
*分为因变量与自变量
*因变量为随机变量
*侧重建立模型预测或估计因变量
一元线性回归模型 (Regression Analysis)
1 总体回归模型
2 样本回归模型
txy
)( )( 总体回归直线xyE
x
y 随机误差项:)( YEY
0),c o v ( 3 0~ 2
M a r k o v-( G a u s s
j)(i 0
)(
),c o v (
0)E(
1
tt
2
t
2
j
t
xN
ji
i
），（
条件）
：残差样本回归线
Y?-Y )?b,?(
)(?
tt
tea
bxay
参数估计（ Least Squares Principle）
)
)(
))((
(
)(xn
yx-xy
b
)(
n
y
a
0
0
,)(m i nQ
)()?(
)(?
222
1
2
1
2
1
2
xx
yyxx
b
x
n
xbya
n
x
b
b
Q
a
Q
ba
bxay
bxayyy
bxayyy
n
i
i
n
i
i
n
i
i
ii
求导数并令其为零。、分别对理，根据微分学中求极值原令
x
y
x
y
x
y
拟合优度检验判定系数 r2
估计标准误
2
2
2
2,
)(
)?( rr
yy
yyr
总偏差回归偏差回归偏差剩余偏差总偏差
)?()?()( 222 yyyyyy
22
)?( 22
XY?
n
yxbyay
n
yyS
显著性检验回归系数检验回归模型整体检验
)0(
)0(
0H 0,1:0
b
b
b
t
b
Z
H
小样本：
大样本：
2
2
2
2
,1:0
1
)2(
2/)?(
1/)?(
0H 0
r
nr
nyy
yy
F
H
,
)(
)V a r ( )(:
) 0(
2
,
2
2
2
222
XX
S
E
oxee
n
e
S
S
XY
biii
ttt
t
满足的条件下可以证明，在标准假定可由下式给出的无偏估计，大小，数学上可以证明：反映理论模型误差的总体随机误差
应用回归方程进行估计点估计区间估计
bxay
2
2
0
)2(
2
00
2
2
0
)2(
2
00
2
2
2
0
00
000
)(
)(1
1y?
)(
)(1
y?)(
}]
)(
)(1
[),{(~y?
,
xx
xx
n
StY
xx
xx
n
StYE
xx
xx
n
bxaN
bxayx
XY
n
XY
n
小样本情况下且有可以证明，对固定的
y
XX1 X
2
X3
y?
多元线性回归模型 （ Multiple Regression)
回归模型的确定总体回归模型样本回归模型
参数估计 OLSE
回归模型拟合度检验判定系数 r2 修正的判定系数 ra2
nn XXXY,,,22110
22110? XbXbbY
01,
1
1)1(1
)1/()(
)1/(
1
)(
1
222
2
2
2
2
2
2
2
，但未必都大于小于aa
t
t
a
t
t
rrr
kn
nr
nyY
kne
r
yY
e
r
估计标准误差
回归方程的显著性检验回归系数检验回归模型检验
3
y
3
)?( 2211022
)( 2,1?
n
yxbyxbyb
n
yyS
xxy
1,2 )(i?
0 H 0 i:1,0
ib
i
i
bt
H
)1(2
)3(r
)3/()?
2/)?
0 H
0
2
2
2
2
21:1
21,0
r
n
nyy
yy
F
H
j?
（
（
不为至少有一个偏回归系数,
相关分析复相关偏相关
* 与简单线性相关系数的关系自变量之间的相关关系 防止多重共线性
2
2
2
12 )(
)?(
yy
yyrr
y
2
12
2
1
1212
)1(2
2
12
2
2
1221
)2(1
)(1)(1
)(1)(1
rr
rrr
r
rr
rrr
r
y
yy
y
y
yy
y
应用回归模型的估计
2
2211
2
22
2
11
2211220110
2
11
2
220
2
22
2
110
0
1)()3(
2
00)(
)3(
2
00
2211
)])(([)()(
))(())((2)()()()(1
C
Y?)E ( Y 2
1
02,102,1
XXXXXXXX
XXXXXXXXXXXXXXXX
n
StYStY
XbXbby
CXXYnCXXYn
o
区间估计：
点估计：
*二元相性回归模型与一元线性回归模型的比较二元方程精度更高，拟合优度更好
* 回归元数的确定逐步增元法逐步减元法选择判定系数最大（或估计标准误差最小）的模型非线性回归模型基本思想非线性关系 转化为线性关系 按线性方程步骤求解
X
X
bay
1X'
b X 'ay? 1?
其中，令单元线性化多元线性化
210 X X a 'y?
l o g K l o g Ll o g Ay?l o g
,?
两边取对数KALy
*非线性回归模型的相关指数
r
)( )?(,2
2
22
yy
yyrrr
总偏差回归偏差
是构造各种经济模型、进行结构分析、政策评价、
预测和控制的重要工具。
主要内容相关分析 (Correlation Analysis)
回归分析 (Regression Analysis)
相关分析
相关的概念 变量之间关系函数关系相关关系 因果关系互为因果关系共变关系确定性依存关系随机性依存关系一元相关多元相关负 相 关正 相 关 线性相关曲线相关
y
正 相 关
y
负 相 关
y
曲线相关 x
y
不 相 关
相关的种类
x x x
简单线性相关相关分析的步骤相关系数 测定两变量是否线性相关
yx
xy
定义式：
搜集资料 整理资料 绘制相关图 相关关系的测定
yxn
yyxxr
))((未分组,
已分组,
2222 )()( yynxxn
yxxynr
])([])([
))((
2222
yyxx
yxxy
fyfynfxfxn
fyfxfyxnr
协方差与相关系数皮尔生的相关系数是对协方差标准化处理的结果，是对协方差的改进。
相关系数的显著性检验
|r|=0 不存在线性关系； |r|＝ 1 完全线性相关
0<|r|<1不同程度线性相关
(0~0.3 微弱； 0.3~0.5 低度； 0.5~0.8 显著； 0.8~1 高度 )
符号,r>0 正相关； r<0 负相关
H0,p=0,H1,p≠0
直接查相关系数检验表检验统计量 21 2|| rnrt
一元线性回归模型
基本概念
1 回归分析：研究变量间依存关系
2 回归与相关关系
3 回归模型的种类相关分析 回归分析联系
*研究变量间的不确定性关系，存在相关才能回归
*相关系数与回归模型中的参数相互换算区别
*变量地位对等
*都是随机变量
*侧重相关的密切程度和变化方向
*分为因变量与自变量
*因变量为随机变量
*侧重建立模型预测或估计因变量
一元线性回归模型 (Regression Analysis)
1 总体回归模型
2 样本回归模型
txy
)( )( 总体回归直线xyE
x
y 随机误差项:)( YEY
0),c o v ( 3 0~ 2
M a r k o v-( G a u s s
j)(i 0
)(
),c o v (
0)E(
1
tt
2
t
2
j
t
xN
ji
i
），（
条件）
：残差样本回归线
Y?-Y )?b,?(
)(?
tt
tea
bxay
参数估计（ Least Squares Principle）
)
)(
))((
(
)(xn
yx-xy
b
)(
n
y
a
0
0
,)(m i nQ
)()?(
)(?
222
1
2
1
2
1
2
xx
yyxx
b
x
n
xbya
n
x
b
b
Q
a
Q
ba
bxay
bxayyy
bxayyy
n
i
i
n
i
i
n
i
i
ii
求导数并令其为零。、分别对理，根据微分学中求极值原令
x
y
x
y
x
y
拟合优度检验判定系数 r2
估计标准误
2
2
2
2,
)(
)?( rr
yy
yyr
总偏差回归偏差回归偏差剩余偏差总偏差
)?()?()( 222 yyyyyy
22
)?( 22
XY?
n
yxbyay
n
yyS
显著性检验回归系数检验回归模型整体检验
)0(
)0(
0H 0,1:0
b
b
b
t
b
Z
H
小样本：
大样本：
2
2
2
2
,1:0
1
)2(
2/)?(
1/)?(
0H 0
r
nr
nyy
yy
F
H
,
)(
)V a r ( )(:
) 0(
2
,
2
2
2
222
XX
S
E
oxee
n
e
S
S
XY
biii
ttt
t
满足的条件下可以证明，在标准假定可由下式给出的无偏估计，大小，数学上可以证明：反映理论模型误差的总体随机误差
应用回归方程进行估计点估计区间估计
bxay
2
2
0
)2(
2
00
2
2
0
)2(
2
00
2
2
2
0
00
000
)(
)(1
1y?
)(
)(1
y?)(
}]
)(
)(1
[),{(~y?
,
xx
xx
n
StY
xx
xx
n
StYE
xx
xx
n
bxaN
bxayx
XY
n
XY
n
小样本情况下且有可以证明，对固定的
y
XX1 X
2
X3
y?
多元线性回归模型 （ Multiple Regression)
回归模型的确定总体回归模型样本回归模型
参数估计 OLSE
回归模型拟合度检验判定系数 r2 修正的判定系数 ra2
nn XXXY,,,22110
22110? XbXbbY
01,
1
1)1(1
)1/()(
)1/(
1
)(
1
222
2
2
2
2
2
2
2
，但未必都大于小于aa
t
t
a
t
t
rrr
kn
nr
nyY
kne
r
yY
e
r
估计标准误差
回归方程的显著性检验回归系数检验回归模型检验
3
y
3
)?( 2211022
)( 2,1?
n
yxbyxbyb
n
yyS
xxy
1,2 )(i?
0 H 0 i:1,0
ib
i
i
bt
H
)1(2
)3(r
)3/()?
2/)?
0 H
0
2
2
2
2
21:1
21,0
r
n
nyy
yy
F
H
j?
（
（
不为至少有一个偏回归系数,
相关分析复相关偏相关
* 与简单线性相关系数的关系自变量之间的相关关系 防止多重共线性
2
2
2
12 )(
)?(
yy
yyrr
y
2
12
2
1
1212
)1(2
2
12
2
2
1221
)2(1
)(1)(1
)(1)(1
rr
rrr
r
rr
rrr
r
y
yy
y
y
yy
y
应用回归模型的估计
2
2211
2
22
2
11
2211220110
2
11
2
220
2
22
2
110
0
1)()3(
2
00)(
)3(
2
00
2211
)])(([)()(
))(())((2)()()()(1
C
Y?)E ( Y 2
1
02,102,1
XXXXXXXX
XXXXXXXXXXXXXXXX
n
StYStY
XbXbby
CXXYnCXXYn
o
区间估计：
点估计：
*二元相性回归模型与一元线性回归模型的比较二元方程精度更高，拟合优度更好
* 回归元数的确定逐步增元法逐步减元法选择判定系数最大（或估计标准误差最小）的模型非线性回归模型基本思想非线性关系 转化为线性关系 按线性方程步骤求解
X
X
bay
1X'
b X 'ay? 1?
其中，令单元线性化多元线性化
210 X X a 'y?
l o g K l o g Ll o g Ay?l o g
,?
两边取对数KALy
*非线性回归模型的相关指数
r
)( )?(,2
2
22
yy
yyrrr
总偏差回归偏差
