§ 2.4 多元线性回归模型的统计检验
Statistical Test of Multiple
Linear Regression Model
一、拟合优度检验
二、方程显著性检验
三、变量显著性检验
说 明
? 由计量经济模型的数理统计理论要求的
? 以多元线性模型为例
? 将参数估计量和预测值的区间检验单独
列为一节,在一些教科书中也将它们放
在统计检验中
? 包含拟合优度检验、总体显著性检验、
变量显著性检验、偏回归系数约束检验、
模型对时间或截面个体的稳定性检验等
一、拟合优度检验
Testing the Simulation Level
1、概念
? 检验模型对样本观测值的拟合程度。
? 通过构造一个可以表征拟合程度的 统计量 来实现。
? 问题:采用普通最小二乘估计方法,已经保证了
模型最好地拟合了样本观测值,为什么还要检验
拟合程度?
? 答案:选择合适的估计方法所保证的最好拟合,
是同一个问题内部的比较;拟合优度检验结果所
表示的优劣是不同问题之间的比较。
0
5
10
15
20
25
0 2 4 6 8 10 12
X
Y1
0
5
10
15
20
25
30
0 2 4 6 8 10 12
X
Y2
D e p e n d e n t V a r i a b l e, Y 1
M e t h o d, L e a st S q u a r e s
D a t e, 0 3 / 0 4 / 0 3 T i m e, 0 2, 3 0
S a m p l e, 1 1 0
I n cl u d e d o b se r v a t i o n s,1 0
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 2, 7 3 3 3 3 3 0, 6 7 4 7 9 9 4, 0 5 0 5 9 0 0, 0 0 3 7
X 2, 0 4 8 4 8 5 0, 1 0 8 7 5 4 1 8, 8 3 6 0 0 0, 0 0 0 0
R - sq u a r e d 0, 9 7 7 9 4 9 M e a n d e p e n d e n t v a r 1 4, 0 0 0 0 0
A d j u st e d R - sq u a r e d 0, 9 7 5 1 9 3 S, D, d e p e n d e n t v a r 6, 2 7 1 6 2 9
S, E, o f r e g r e ssi o n 0, 9 8 7 8 0 4 A ka i ke i n f o cr i t e r i o n 2, 9 9 0 1 9 2
S u m sq u a r e d r e si d 7, 8 0 6 0 6 1 S ch w a r z cr i t e r i o n 3, 0 5 0 7 0 9
L o g l i ke l i h o o d - 1 2, 9 5 0 9 6 F - st a t i st i c 3 5 4, 7 9 5 0
D u r b i n - W a t so n st a t 3, 4 4 9 1 3 9 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
D e p e n d e n t V a r i a b l e, Y 2
M e t h o d, L e a st S q u a r e s
D a t e, 0 3 / 0 4 / 0 3 T i m e, 0 2, 3 6
S a m p l e, 1 1 0
I n cl u d e d o b se r v a t i o n s,1 0
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 2, 4 6 6 6 6 7 1, 3 4 9 5 9 8 1, 8 2 7 7 0 5 0, 1 0 5 0
X 2, 0 9 6 9 7 0 0, 2 1 7 5 0 7 9, 6 4 0 9 1 3 0, 0 0 0 0
R - sq u a r e d 0, 9 2 0 7 5 1 M e a n d e p e n d e n t v a r 1 4, 0 0 0 0 0
A d j u st e d R - sq u a r e d 0, 9 1 0 8 4 4 S, D, d e p e n d e n t v a r 6, 6 1 6 4 7 8
S, E, o f r e g r e ssi o n 1, 9 7 5 6 0 9 A ka i ke i n f o cr i t e r i o n 4, 3 7 6 4 8 7
S u m sq u a r e d r e si d 3 1, 2 2 4 2 4 S ch w a r z cr i t e r i o n 4, 4 3 7 0 0 4
L o g l i ke l i h o o d - 1 9, 8 8 2 4 3 F - st a t i st i c 9 2, 9 4 7 2 0
D u r b i n - W a t so n st a t 3, 4 4 9 1 3 9 P r o b ( F - st a t i st i c) 0, 0 0 0 0 1 1
2、总体平方和、残差平方和和回归平方和
? 定义
? TSS为总体平方和 ( Total Sum of Squares),反
映样本观测值总体离差的大小; ESS为回归平方和
( Explained Sum of Squares),反映由模型中
解释变量所解释的那部分离差的大小; RSS为残差
平方和 ( Residual Sum of Squares),反映样本
观测值与估计值偏离的大小,也是模型中解释变
量未解释的那部分离差的大小。
T S S y y
E S S y y
R S S y y
i
i
i i
? ?
? ?
? ?
?
?
?
( )
( ? )
( ? )
2
2
2
? 既然 ESS反映样本观测值与估计值偏离的大小,可
否直接用它作为拟合优度检验的统计量?
不行
统计量必须是相对量
? TSS,ESS,RSS之间的关系
TSS=RSS+ESS
3、一个有趣的现象
? 矛盾吗?可能吗?
)?()?()( iiiii yyyyyy ?????
222 )?()?()( yyyyyy iiii ????????
222 )?()?()( iiiii yyyyyy ?????
? 关键是在 TSS=RSS+ESS的推导过程中应用了一组
矩条件
kjyyx iiji,,2,1,00)?( ?????
? 矩条件在大样本下成立,只有 1个样本时肯定不成
立,在样本足够大时近似成立
? 理解教材中关于 TSS=RSS+ESS的推导过程
4、拟合优度检验统计量,可决系数 r2和调整
后的可决系数 R2
? 可决系数 r2
模型与样本观测值完全拟合时,r2=1。
该统计量越接近于 1,模型的拟合优度越高。
? 问题:
要使得模型拟合得好,就必须增加解释变量;
增加解释变量必定使得自由度减少。
r E S STSS R S STSS2 1? ? ?
? 调整的可决系数 R2
R SS r
t
2 1? ?
S
n k
R SS
S
n
TSS
r
t
?
? ?
?
?
1
1
1
1
?为什么以 R2作为检验统计量避免片面增加解释变量
的倾向?
? R2多大才算通过拟合优度检验?
? 在应用软件中,可决系数 r2和调整后的可决系数
R2的计算是自动完成的
? 在消费模型中
r2=0.999773
R2=0.999739
二、方程显著性检验
Testing the Overall Significance
1、关于假设检验
? 假设检验是统计推断的一个主要内容,它的基本
任务是根据样本所提供的信息,对未知总体分布
的某些方面的假设作出合理的判断。
? 假设检验的程序是,先根据实际问题的要求提出
一个论断,称为统计假设;然后根据样本的有关
信息,对 H0的真伪进行判断,作出拒绝或接受的
决策。
? 假设检验的基本思想是概率性质的反证法。
? 概率性质的反证法的根据是小概率事件原理,该
原理认为“小概率事件在一次试验中几乎是不可
能发生的”。
2、方程的显著性检验
? 对模型中被解释变量与解释变量之间的线性关
系在总体上是否显著成立作出推断。
? 用以进行方程的显著性检验的方法主要有三种:
F检验,t检验,r检验。它们的区别在于构造
的统计量不同,即设计的“事件”不同。
? 应用最为普遍的 F检验。
3、方程显著性的 F检验
? 方程显著性的 F检验
F 检验是要检验模型中 被解释变量与解释变量之间的线
性关系在总体上是否显著成立,即检验方程
ikikiii XXXY ????? ?????? ?22110 i =1,2,?,n
中参数是否显著不为 0 。
按照假设检验的原理与程序,提出原假设与备择假设
H k0 1 20 0 0:,,,? ? ?? ? ??
1H, i? 不全为零
F检验的思想 来自于总离差平方和的分解式:
TSS=ESS+RSS
由于回归平方和 ESS是解释变量 X联合体对被解释
变量 Y的线性作用的结果, 所以, 如果 ESS/RSS的
比值较大, 则 X的联合体对 Y的解释程度高, 可认
为总体存在线性关系, 反之总体上可能不存在线性
关系 。
因此,可通过该比值的大小对总体线性关系进
行推断 。
由于
i
Y 服从正态分布,根据数理统计学中的定义,
i
Y 的一
组样本的平方和服从 ?
2
分布。所以有:
2
)
?
( YYE S S
i
??? ~ ?
2
( )k
2
)
?
(
ii
YYR S S ???
~ ?
2
1( )n k? ?
即回归平方和、残差平方和分别服从自由度为
k

( )n k? ? 1

?
2
分布。
进一步根据数理统计学中的定义,如果构造一个统计量
F
E S S k
R S S n k? ? ?( )1
则该统计量服从自由度为( n-k-1)的 F分布。
给定一个显著性水平 ?,可得到一个临界值 F k n k
?
(,)? ? 1,
根据样本在求出 F 统计量的数值后,可通过
F > F k n k? (,)? ? 1 或 F ? F k n k? (,)? ? 1
来拒绝或接受原假设
H
0 。
在消费模型中,k=2,n=16,给定 α=0.01,查得F 0.01
( 2,13)=3.80,而F =28682.51>3.80,所以该线性
模型在 0.99的水平下显著成立。
? 关于拟合优度检验与方程显著性检验关系的讨论
可见, F与 R2同向变化:当 R2 =0时, F=0;
当 R2=1时, F为无穷大; R2越大, F值也越大 。
R nn k kF2 1 11? ? ?? ? ?
F
E S S k
R S S n k? ? ?( )1
)1/(
)1/(12
?
????
nT S S
knR S SR
因此,F检验是所估计回归的总显著性的一个度量,也
是 r
2

2
R 的一个显著性检验。亦即:
检验原假设 H k0 1 20 0 0:,,,? ? ?? ? ??,等价于检验 r
2
=0这
一虚拟假设。
? 回答前面的问题,R2多大才算通过拟合优度
检验?
在消费模型中,R2>0.9998→F>3.80→ 该线性
模型在 0.99的水平下显著成立。
有许多著名的模型,R2小于 0.5,支持了重
要的结论,例如收入差距的倒 U型规律。
不要片面追求拟合优度。
三、变量显著性检验
Testing the Individual Significance
1、变量显著性检验
? 对于多元线性回归模型, 方程的总体线性关系是显
著的, 并不能说明每个解释变量对被解释变量的影响
都是显著的 。
? 因此, 必须对每个解释变量进行显著性检验, 以
决定是否作为解释变量被保留在模型中 。
? 变量显著性检验的数理统计学基础相同于方程显著
性检验, 检验的思路与程序也与方程显著性检验相似 。
? 用以进行变量显著性检验的方法主要有三种,F检
验, t检验, z检验 。 它们的区别在于构造的统计量不
同 。 应用最为普遍的 t检验 。
2、变量显著性的 F检验
易知 ?? i 服从下列正态分布:
?
?
i ~
),(
2
iii
cN ??
其中,c ii 表示矩阵 ( )?
?
X X
1
主对角线上的第 i 个元素,
2
? 为随
机误差项的方差。
)1(~ 2 ??? kn?ee
如果构造一个统计量
t
c
n k
i i
ii
?
?
?
? ?
?? ?
e e
1
)1(~ ?? kntt
已经知道
提出原假设与备择假设:
H0,?i=0,H1,?i?0
给定一个显著性水平 ?,得到一个临界值 t n k?
2
1( )? ?,于是
可根据
t > t n k?
2
1( )? ? 或 t ? t n k?
2
1( )? ?
来拒绝或接受原假设 H 0 。
? 在消费模型中,
tc=6.412,tgdp=22.00,tcons(-1)=4.188
给定 α=0.01,查得 t0.005(13)=3.012,所以所
有变量都在 0.99的水平下显著。
3、在一元线性回归( k=1)中,t检验与 F
检验是一致的。
一方面,t 检验与 F 检验都是对相同的原假设 0H, 01 ?? 进
行检验;
另一方面,两个统计量之间有如下关系:
2
22
1
22
2
1
2
22
1
2
2
)2(
?
)2(
?
)2(
?
)2(
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?????
?
?
?
ii
iii
i
i
i
xnexnene
x
ne
y
F
???
2
2
2
2
1
1
2
?
t
xn
e
i
i
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
4、关于检验标准的判断
? 科学性
? 灵活性
? 关键是讲清楚在什么置信水平下显著
? 直观判断