§ 2.6 异方差性
Heteroskedasticity
一、异方差性的概念
二、异方差性的后果
三、异方差性的检验
四、异方差性的估计
五、案例
?回归分析, 是在对线性回归模型提出若干基本假
设的条件下, 应用普通最小二乘法得到了无偏的,
有效的参数估计量 。
? 但是, 在实际的计量经济学问题中, 完全满足这
些基本假设的情况并不多见 。
? 如果违背了某一项基本假设, 那么应用普通最小
二乘法估计模型就不能得到无偏的, 有效的参数估
计量, OLS法失效, 这就需要发展新的方法估计模
型 。
?如果随机误差项序列不具有同方差性, 即出现 异
方差性 。
说 明
一、异方差的概念
1、异方差的概念
对于模型
ikikiiii XXXY ????? ?????? ?2210 i =1,2,?,n
同方差性假设为
2
)( ?? ?
i
V a r i =1,2,?,n
如果出现
V a r i i( )? ?? 2 i = 1,2,?,n
即对于不同的样本点, 随机误差项的方差不再是
常数, 则认为出现了 异方差性 。
2、异方差的类型
? 同方差性 假定的意义是指每个 ?i围绕其零平均
值的变差, 并不随解释变量 X的变化而变化, 不
论解释变量观测值是大还是小, 每个 ?i的方差保
持相同, 即
?i2 =常数
? 在 异方差 的情况下, ?i2已不是常数, 它随 X的
变化而变化, 即
?i2 =f(Xi)
?异方差一般可归结为三种类型:
( 1)单调递增型,?i2随 X的增大而增大;
( 2)单调递减型,?i2随 X的增大而减小 ;
( 3) 复 杂 型,?i2与 X的变化呈复杂形式 。
3、实际经济问题中的异方差性
在该模型中, ?i的同方差假定往往不符合实际情况 。
对高收入家庭来说, 储蓄的差异较大;低收入家庭
的储蓄则更有规律性 ( 如为某一特定目的而储蓄 ),
差异较小 。
因此, ?i的方差往往随 Xi的增加而增加, 呈单调递
增型变化 。
? 例如,在截面资料下研究居民家庭的储蓄行为
Yi=?0+?1Xi+?i
Yi和 Xi分别为第 i个家庭的储蓄额和可支配收入。
一般情况下:居民收入服从正态分布, 处于中等收
入组中的人数最多, 处于两端收入组中的人数最少 。
而人数多的组平均数的误差小, 人数少的组平均数的
误差大 。 所以样本观测值的 观测误差随着解释变量观
测值的增大而 先减后增 。
如果样本观测值的观测误差构成随机误差项的主要
部分, 那么对于不同的样本点, 随机误差项的方差随
着解释变量观测值的增大而 先减后增, 出现了异方差
性 。
? 例如,以绝对收入假设为理论假设、以截面数据作
样本建立居民消费函数:
Ci= ?0+?1Yi+?i
将居民按照收入等距离分成 n组, 取组平均数为样本
观测值 。
?例如,以某一行业的企业为样本建立企业生产函
数模型
Yi=Ai?1 Ki?2 Li?3e?I
产出量为被解释变量, 选择资本, 劳动, 技术等
投入要素为解释变量, 那么每个企业所处的外部
环境对产出量的影响被包含在随机误差项中 。
由于每个企业所处的外部环境对产出量的影响程
度不同,造成了随机误差项的异方差性。
这时,随机误差项的方差并不随某一个解释变
量观测值的变化而呈规律性变化,为复杂型的一
种。
二、异方差性的后果
1、参数估计量非有效
?普通最小二乘法参数估计量 仍然具有无偏性, 但
不具有有效性 。因为在有效性证明中利用了
E(NN’)=?2I
? 而且, 在大样本情况下, 参数估计量 仍然不具有
渐近有效性, 这就是说参数估计量不具有一致性 。
以一元线性回归模型为例进行说明:
( 1)仍存在无偏性:证明过程与方差无关
由于 iii XY ??? ??? 10 ( 2,4,1 )
的参数
1
? 的 O L S 估计量 1
?
? 为:
i
i
i
iiii
x
x
kYk ????? ?
?
? ? ????? 2111
?
故 1211 )()()
?
( ???? ??? ?
?
i
i
i
E
x
x
EE (2, 4, 2 )
( 2)不具备最小方差性
由于
?
?
?
?
????
22
2
2
2
2
111
)(
)(
)()
?
()
?
v a r(
i
ii
i
i
i
x
xE
x
x
EE
?
????
2
2
22
)(
)(
?
?
?
i
ii
x
Ex ?
(注:交叉项 ?
?
))((
,jjii
ji
ji
xx ?? 的期望为零)
在 i
?
为同方差的假定下,
22
)()v ar ( ??? ??
ii
E
??
?
??
2
2
22
22
1
)(
)
?
v a r (
ii
i
xx
x ??
?
(2, 4, 3 )
在 i
?
存在异方差的情况下
)()()v a r (
222
iiii
XfE ???? ???
假设
2
)(
ii
XXf ?
,并且记异方差情况下
1
? 的 O L S 估计为
1
~
?,则
?
?
??
?
???
2
22
2
2
22
22
1
)(
)(
)
~
v a r(
i
ii
ii
ii
x
Xx
xx
Xfx ??
?
(2, 4, 4 )
对大多数经济资料有:
1
222
???
iii
xXx
,
比较 (2, 4, 3 ) 与 (2, 4, 4 ),
)
?
v a r ()
~
v a r (
11
?? ?
( 2,4,5 )
2、变量的显著性检验失去意义
关于变量的显著性检验中,构造了 t 统计量
)?(/? ii St ??? ( 2, 4,6 )
在该统计量中包含有随机误差项共同的方差,并且有
t统计量服从自由度为 (n-k-1)的 t分布。如果出现了
异方差性,t检验就失去意义。
其它检验也类似。
3、模型的预测失效
一方面, 由于上述后果, 使得模型不具有良好
的统计性质;
另一方面, 在预测值的置信区间中也包含有随
机误差项共同的方差 ?2。
所以, 当模型出现异方差性时, 参数 OLS估计
值的变异程度增大, 从而造成对 Y的预测误差变
大, 降低预测精度, 预测功能失效 。
三、异方差性的检验
1、检验方法的共同思路
? 由于 异方差性 就是相对于不同的解释变量观测值,
随机误差项具有不同的方差。那么:
检验异方差性,也就是检验随机误差项的方差与
解释变量观测值之间的相关性及其相关的“形式”。
? 问题在于用什么来表示随机误差项的方差
一般的处理方法:
首先采用 O L S 法估计模型,以求得随机误差项的
估计量 (注意,该估计量是不严格的),我们称之为, 近
似估计量,,用
~e
i 表示。于是有
O L Siii YYe )?(
~ ??
V a r E ei i i( ) ( )
~? ?? ?2 2
( 2, 4, 7 )
即用 ~e i 2 来表示随机误差项的方差。
2、图示检验法
( 1)用 X-Y的散点图进行判断
看是否存在明显的 散点扩大, 缩小 或 复杂型趋
势 (即不在一个固定的带型域中)
看是否形成一斜率为零的直线
(2) X- ~e i 2 的散点图进行判断
~
e
i
2
~
e
i
2
X X
同方差 递增异方差
~
e
i
2
~
e
i
2
X X
递减异方差 复杂型异方差
3、解析法
( 1)戈德菲尔德 -匡特( Goldfeld-Quandt)检验 ☆
G-Q检验以 F检验为基础, 适用于样本容量较大,
异方差递增或递减的情况 。
G-Q检验的思想,
先将样本一分为二,对子样 ① 和子样 ② 分别作回
归,然后利用两个子样的残差之比构造统计量进行
异方差检验。
由于该统计量服从 F分布,因此假如存在递增的异
方差,则 F远大于 1;反之就会等于 1(同方差)、或
小于 1(递减方差)。
G-Q检验的步骤:
① 将 n对样本观察值 (Xi,Yi)按解释变量观察值 Xi的大
小排队
②将序列中间的 c=n/4个观察值除去,并将剩下的观
察值划分为较小与较大的相同的两个子样本,每
个子样样本容量均为 (n-c)/2
③ 对每个子样分别求回归方程,并计算各自的残差平
方和。
分别用 ?
2
1
~
i
e
与 ?
2
2
~
i
e 表示对应较小 iX 与较大 iX 的
子样本的残差平方和 ( 自由度均为 1
2
??
?
k
cn
)
④ 提出假设,0H, 2221 ?? ?, 1H, 2221 ?? ?
21? 与 22? 分别为两个子样对应的随机项方差。
⑤ 构造统计量
)1
2
,1
2
(~
)1
2
(
~
)1
2
(
~
2
1
2
2
??
?
??
?
??
?
??
?
?
?
?
k
cn
k
cn
F
k
cn
e
k
cn
e
F
i
i
⑥ 检验。给定显著性水平 ?,确定 F 分布表中相应的临界
值 ),( 21 vvF ? 。
若 F > ),( 21 vvF ?,存在递增异方差;
反之,不存在异方差。
( 2)戈里瑟( Gleiser)检验与帕克( Park)检验
? 戈里瑟检验与帕克检验的思想:
选择关于变量 jX 的不同的函数形式 (如
2)(
jiji XXf ? 或
iv
jiji eXXf
?? 2)( ?
),对方程进行估计并进行显著性检验;
如果存在某一种函数形式,使得方程显著成立,
则说明原模型存在异方差性。
以 |e~ |或 ~e
i
2 为被解释变量,以原模型的某一解释变量
j
X 为
解释变量,建立如下方程:
ijii Xfe ??? )(|
~
| i =1,2,?,n ( G l e i s e r )
或 ijii Xfe ??? )(
~ 2
i =1,2,?,n ( P a r k )
注意:
由于 f(Xj)的具体形式未知,因此需要进行各种
形式的试验。
如 P ark 检验法中, 对一般的 方程形式:
i
v
jiji
eXXf
?
?
2
)( ?
通过 ijii
vXe ??? lnln)
~
l n (
22
??
检验
?
的显著性,若存在统计上的显著性,表明存在
异方差性。
四、异方差性的估计
—— 加权最小二乘法 (WLS)
Weighted Least Squares
1、加权最小二乘法的基本思想
? 加权最小二乘法 是对原模型加权,使之变成一
个新的不存在异方差性的模型,然后采用普通
最小二乘法估计其参数。
? 例如,在递增异方差下,对来自较小 Xi的子
样本,其真实的总体方差较小,Yi与回归线拟
合值之间的残差 ei的信度较大,应予以重视 ; 而
对较大 Xi的子样本,由于真实总体的方差较大,
残差反映的信息应打折扣。
? 加权最小二乘法就是对加了权重的残差平方和
实施 OLS法:
对较小的残差平方 ei2赋予较大的权数,
对较大的残差平方 ei2赋予较小的权数。
2
110
2 )]???([? ? ?????
kkiiii XXYWeW ??? ?
2、一个例子
? 例如,如果在检验过程中已经知道:
V a r E f xi i i ji( ) ( ) ( )? ? ? ?? ? ?2 2 2
即随机误差项的方差与解释变量 jX 之间存在
相关性,那么可以用 )( jXf 去除原模型,使之
变成如下形式的新模型:
????? i
ji
i
jiji
i
ji
X
Xf
X
XfXf
y
Xf
22110
)(
1
)(
1
)(
1
)(
1
???
i
ji
ki
ji
k
Xf
X
Xf
??
)(
1
)(
1
??
在该模型中,存在
222 )(
)(
1
)
)(
1
()
)(
1
( ???? ??? i
ji
i
ji
i
ji
E
XfXf
E
Xf
V a r
即满足同方差性。于是可以用 OL S 估计其
参数,得到关于参数 ? ? ?0 1,,,? k 的无偏的、有
效的估计量。这就是加权最小二乘法,在这
里权就是
)(
1
ji
Xf
。
3、一般情况
对于模型
Y=XB+N (2.4.8)
存在
E
C o v E
( )
( ) ( )
?
? ? ? ?
?
? ? ? ?
0
2
? W
W ?
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
n
1
2
? ( 2, 4, 9 )
即存在 异方差性 。
设 W D D? ?
其中
?
?
?
?
?
?
?
?
?
?
?
?
?
n
w
w
D ?
1
该模型具有同方差性。因为
?
??
?
? ???
? ???? 1111**
)()()( DDDD NNEENNE
IDDDDWDD
1111 222
??? ?????
????
用 D 1? 左乘 ( 2, 4, 8 ) 两边,得到一个新的模型:
D Y D X D? ? ?? ?1 1 1? ? ( 2, 4, 1 0 )
即 Y X
* * *? ?? ?
这就是原模型 (2.4.8)的加权最小二乘估计
量, 它是无偏, 有效的 。
这里权矩阵为 D-1,它来自于矩阵 W 。
于是,可以用 OL S 法估计模型 ( 2, 4, 1 0 ),得
?
( )
* * * *
? ?
? ??
X X X Y
1
? ?
?
?
?
? ? ?
? ? ? ? ?
? ? ?
( )
( )
X D D X X D D Y
X W X X W Y
1 1 1 1 1
1 1 1
( 2, 4, 1 1 )
4、求得权矩阵 W的一种实用方法
从前面的推导过程看, 它来自于原模型
( 2.4.8) 残差项 N的方差 -协方差矩阵, 因
此仍然可对原模型 (2.4.8)首先采用 OLS法,
得到随机误差项的近似估计量, 以此构成
权矩阵的估计量, 即
?
~
~
~
W ?
?
?
?
?
?
?
?
?
?
?
?
?
e
e
e
n
1
2
2
2
2
?
,
?
?
?
?
?
?
?
?
?
?
?
?
?
?
|
~
|/1
|
~
|1
|
~
|1
2
1
1
n
e
e
e
?
D
( 2, 4, 1 2 )
5、加权最小二乘法具体步骤
① 选择普通最小二乘法估计原模型,得到随机误差
项的近似估计量 ~e i ;
② 建立 |~|1 ie 的数据序列;
③ 选择加权最小二乘法,以 |
~
|1
i
e 序列作为权,进
行估计得到参数估计量。
实际上是以 |
~
|1
i
e 乘原模型的两边,得到一个新模
型,采用普通最小二乘法估计新模型。
6、注意
? 在实际建模过程中,尤其是截面数据作样本时,
人们通常 并不对原模型进行异方差性检验,而是直
接选择加权最小二乘法,尤其是采用截面数据作样
本时。
如果确实存在异方差,则被有效地消除了;
如果不存在异方差性,则加权最小二乘法等价
于普通最小二乘法。
? 在应用软件中,给出了权矩阵的多种选择。
例如在 Eviews中给出了权矩阵的 3种选择,White权
矩阵,Newey-West权矩阵和自己输入权矩阵 。
? White,1980,A heteroskedasticity-consistent
convariance matrix and direct test for
heteroskedaticity,Econometrica,48,817-38
? Newey,West,1987,A Simple Positive Semi-
Definite,Heteroskedasticity and Autocorrelation
Consistent Covariance Matrix,
Econometrica,55,703-8
五、案例 — 1
— 某地区居民储蓄模型
某地区 31年来居民收入与储蓄额数据表
表 4 - 1 单位:万元
年份 居民收入
( X )
储蓄
( Y )
年份 居民收入
( X )
储蓄
( Y )
年份 居民收入
( X )
储蓄
( Y )
1 9 6 8 8 7 7 7 2 6 4 1 9 7 9 1 7 6 6 3 9 5 0 1 9 9 0 2 9 5 6 0 2 1 0 5
1 9 6 9 9 2 1 0 1 0 5 1 9 8 0 1 8 5 7 5 7 7 9 1 9 9 1 2 8 1 5 0 1 6 0 0
1 9 7 0 9 9 5 4 90 1 9 8 1 1 9 5 3 5 8 1 9 1 9 9 2 3 2 1 0 0 2 2 5 0
1 9 7 1 1 0 5 0 8 1 3 1 1 9 8 2 2 1 1 6 3 1 2 2 2 1 9 9 3 3 2 5 0 0 2 4 2 0
1 9 7 2 1 0 9 7 9 1 2 2 1 9 8 3 2 2 8 8 0 1 0 7 2 1 9 9 4 3 5 2 5 0 2 5 7 0
1 9 7 3 1 1 9 1 2 1 0 7 1 9 8 4 2 4 1 2 7 1 5 7 8 1 9 9 5 3 3 5 0 0 1 7 2 0
1 9 7 4 1 2 7 4 7 4 0 6 1 9 8 5 2 5 6 0 4 1 6 5 4 1 9 9 6 3 6 0 0 0 1 9 0 0
1 9 7 5 1 3 4 9 9 5 0 3 1 9 8 6 2 6 5 0 0 1 4 0 0 1 9 9 7 3 6 2 0 0 2 1 0 0
1 9 7 6 1 4 2 6 9 4 3 1 1 9 8 7 2 7 6 7 0 1 8 2 9 1 9 9 8 3 8 2 0 0 2 3 0 0
1 9 7 7 1 5 5 2 2 5 8 8 1 9 8 8 2 8 3 0 0 2 2 0 0
1 9 7 8 1 6 7 3 0 8 9 8 1 9 8 9 2 7 4 3 0 2 0 1 7
1,直接使用 O LS 法得:
XY 0 8 4 6.060.665
? ???
( -5, 87 ) ( 18, 04 )
2
R =0, 9182
1、普通最小二乘估计
2,异方差检验
( 1)图示检验
0
500
1000
1500
2000
2500
3000
0 5000 10000 15000 20000 25000 30000 35000 40000 45000
X
Y
⑵ G-Q检验
① 求两个子样本( n1=n2=12)回归方程的残差平
方和 RSS1与 RSS2;
对第 1 个子样本 ( 1 9 6 8 ~ 1 9 7 9 ):
XY 0954.058.823?
1
???
( - 4, 8 6 4 ) ( 7, 3 0 0 )
2
R =0, 8 4 2,
1
R S S = ?
2
i
e =1 6 2 8 9 9, 2
对第二个子样本 ( 1 9 7 7 ~ 1 9 8 8 )
XY 0294.007.1141?
2
??
( 1, 6 0 7 ) ( 1, 3 3 7 )
2
R
=0, 1 5 1 7,2R S S = ?
2
i
e =7 6 9 8 9 9, 2
② 计算 F统计量
F=RSS2/RSS1=769899.2/162899.2=4.726
③ 查表
在 5%的显著性水平下,第 1和第 2自由度
均为( 31-7) /2-2=10的 F分布临界值为
F0.05(10,10)=2.97
由于 F=4.72 > F0.05(10,10)= 2.97
因此, 否定两组子样方差相同的假设, 从而
该 总体随机项存在递增异方差性 。
⑶ Park检验
显然,lnXi前的参数表现为统计上显著的,
表明原数据存在异方差性 。
对直接使用 OL S 法估计的残差项的平方
2~
i
e 进行如下一般形式的回归:
iii
vXe ??? ln
~
ln
2
??
得,iii vXe ???? ln81.299.17
~
ln
2
t ( -2,8 9 ) (4,4 8 )
2
R = 0,4 0 9 3
3、异方差模型的估计
① 设异方差
222
ii
X?? ?,
以 ii XXf ?)( 去除原模型两边,得新模型
*
1
*
0
*
??? ??? XY
其中 iXYY /
*
?,
i
XX /1
*
?,
i
X/
*
?? ?
运用 O LS 法得
086.05.708
? ** ??? XY
( - 1 0, 2 1 ) ( 20, 6 3 )
2
R
=0, 7 8 2 5
则原模型估计为:
XY 0 8 6.05.7 0 8? ???
( - 1 0, 2 1 ) ( 20, 6 3 )
2
R =0, 7 8 2 5
与 OLS估计结果相比较,拟合效果更差 。
为什么?关于异方差形式的假定 …
与 OLS估计结果相比较,拟合效果更好 。
② 如果用估计的
~
e
i
2
作为矩阵 W 的主对角线元素,即相当于
用 |
~
|/1
i
e 为权重进行加权最小二乘估计 ( WLS ),则有
XY 0 8 5 7.006.686
?
???
( - 2 9, 14 ) ( 43, 59 )
2
R
= 0, 9925
五、案例 — 2
— 居民消费二元模型
1,OLS估计结果
D e p e n d e n t V a r i a b l e, C O N S
M e t h o d, L e a st S q u a r e s
D a t e, 0 3 / 0 1 / 0 3 T i m e, 0 0, 4 6
S a m p l e, 1 9 8 1 1 9 9 6
I n cl u d e d o b se r v a t i o n s,1 6
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 5 4 0, 5 2 8 6 8 4, 3 0 1 5 3 6, 4 1 1 8 4 8 0, 0 0 0 0
G D P 0, 4 8 0 9 4 8 0, 0 2 1 8 6 1 2 2, 0 0 0 3 5 0, 0 0 0 0
C O N S 1 0, 1 9 8 5 4 5 0, 0 4 7 4 0 9 4, 1 8 7 9 6 9 0, 0 0 1 1
R - sq u a r e d 0, 9 9 9 7 7 3 M e a n d e p e n d e n t v a r 1 3 6 1 8, 9 4
A d j u st e d R - sq u a r e d 0, 9 9 9 7 3 9 S, D, d e p e n d e n t v a r 1 1 3 6 0, 4 7
S, E, o f r e g r e ssi o n 1 8 3, 6 8 3 1 A ka i ke i n f o cr i t e r i o n 1 3, 4 3 1 6 6
S u m sq u a r e d r e si d 4 3 8 6 1 3, 2 S ch w a r z cr i t e r i o n 1 3, 5 7 6 5 2
L o g l i ke l i h o o d - 1 0 4, 4 5 3 3 F - st a t i st i c 2 8 6 8 2, 5 1
D u r b i n - W a t so n st a t 1, 4 5 0 1 0 1 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
2,WLS估计结果
D e p e n d e n t V a r i a b l e, C O N S
M e t h o d, L e a st S q u a r e s
D a t e, 0 3 / 0 1 / 0 3 T i m e, 0 0, 4 7
S a m p l e, 1 9 8 1 1 9 9 6
I n cl u d e d o b se r v a t i o n s,1 6
W e i g h t i n g se r i e s,E
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 5 1 8, 2 8 8 1 2 0, 5 2 6 2 0 2 5, 2 5 0 0 8 0, 0 0 0 0
G D P 0, 4 8 3 8 1 4 0, 0 0 3 6 0 7 1 3 4, 1 3 4 8 0, 0 0 0 0
C O N S 1 0, 1 9 3 5 2 5 0, 0 0 8 4 6 4 2 2, 8 6 4 7 7 0, 0 0 0 0
W e i g h t e d S t a t i st i cs
R - sq u a r e d 0, 9 9 9 9 9 9 M e a n d e p e n d e n t v a r 1 9 9 4 3, 8 1
A d j u st e d R - sq u a r e d 0, 9 9 9 9 9 9 S, D, d e p e n d e n t v a r 4 0 7 3 0, 3 1
S, E, o f r e g r e ssi o n 4 7, 5 8 5 7 4 A ka i ke i n f o cr i t e r i o n 1 0, 7 3 0 3 0
S u m sq u a r e d r e si d 2 9 4 3 7, 2 3 S ch w a r z cr i t e r i o n 1 0, 8 7 5 1 6
L o g l i ke l i h o o d - 8 2, 8 4 2 4 3 F - st a t i st i c 9 8 0 7 3 6, 2
D u r b i n - W a t so n st a t 1, 8 1 0 4 7 1 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
3、比较
各项统计检验指标全面改善
Heteroskedasticity
一、异方差性的概念
二、异方差性的后果
三、异方差性的检验
四、异方差性的估计
五、案例
?回归分析, 是在对线性回归模型提出若干基本假
设的条件下, 应用普通最小二乘法得到了无偏的,
有效的参数估计量 。
? 但是, 在实际的计量经济学问题中, 完全满足这
些基本假设的情况并不多见 。
? 如果违背了某一项基本假设, 那么应用普通最小
二乘法估计模型就不能得到无偏的, 有效的参数估
计量, OLS法失效, 这就需要发展新的方法估计模
型 。
?如果随机误差项序列不具有同方差性, 即出现 异
方差性 。
说 明
一、异方差的概念
1、异方差的概念
对于模型
ikikiiii XXXY ????? ?????? ?2210 i =1,2,?,n
同方差性假设为
2
)( ?? ?
i
V a r i =1,2,?,n
如果出现
V a r i i( )? ?? 2 i = 1,2,?,n
即对于不同的样本点, 随机误差项的方差不再是
常数, 则认为出现了 异方差性 。
2、异方差的类型
? 同方差性 假定的意义是指每个 ?i围绕其零平均
值的变差, 并不随解释变量 X的变化而变化, 不
论解释变量观测值是大还是小, 每个 ?i的方差保
持相同, 即
?i2 =常数
? 在 异方差 的情况下, ?i2已不是常数, 它随 X的
变化而变化, 即
?i2 =f(Xi)
?异方差一般可归结为三种类型:
( 1)单调递增型,?i2随 X的增大而增大;
( 2)单调递减型,?i2随 X的增大而减小 ;
( 3) 复 杂 型,?i2与 X的变化呈复杂形式 。
3、实际经济问题中的异方差性
在该模型中, ?i的同方差假定往往不符合实际情况 。
对高收入家庭来说, 储蓄的差异较大;低收入家庭
的储蓄则更有规律性 ( 如为某一特定目的而储蓄 ),
差异较小 。
因此, ?i的方差往往随 Xi的增加而增加, 呈单调递
增型变化 。
? 例如,在截面资料下研究居民家庭的储蓄行为
Yi=?0+?1Xi+?i
Yi和 Xi分别为第 i个家庭的储蓄额和可支配收入。
一般情况下:居民收入服从正态分布, 处于中等收
入组中的人数最多, 处于两端收入组中的人数最少 。
而人数多的组平均数的误差小, 人数少的组平均数的
误差大 。 所以样本观测值的 观测误差随着解释变量观
测值的增大而 先减后增 。
如果样本观测值的观测误差构成随机误差项的主要
部分, 那么对于不同的样本点, 随机误差项的方差随
着解释变量观测值的增大而 先减后增, 出现了异方差
性 。
? 例如,以绝对收入假设为理论假设、以截面数据作
样本建立居民消费函数:
Ci= ?0+?1Yi+?i
将居民按照收入等距离分成 n组, 取组平均数为样本
观测值 。
?例如,以某一行业的企业为样本建立企业生产函
数模型
Yi=Ai?1 Ki?2 Li?3e?I
产出量为被解释变量, 选择资本, 劳动, 技术等
投入要素为解释变量, 那么每个企业所处的外部
环境对产出量的影响被包含在随机误差项中 。
由于每个企业所处的外部环境对产出量的影响程
度不同,造成了随机误差项的异方差性。
这时,随机误差项的方差并不随某一个解释变
量观测值的变化而呈规律性变化,为复杂型的一
种。
二、异方差性的后果
1、参数估计量非有效
?普通最小二乘法参数估计量 仍然具有无偏性, 但
不具有有效性 。因为在有效性证明中利用了
E(NN’)=?2I
? 而且, 在大样本情况下, 参数估计量 仍然不具有
渐近有效性, 这就是说参数估计量不具有一致性 。
以一元线性回归模型为例进行说明:
( 1)仍存在无偏性:证明过程与方差无关
由于 iii XY ??? ??? 10 ( 2,4,1 )
的参数
1
? 的 O L S 估计量 1
?
? 为:
i
i
i
iiii
x
x
kYk ????? ?
?
? ? ????? 2111
?
故 1211 )()()
?
( ???? ??? ?
?
i
i
i
E
x
x
EE (2, 4, 2 )
( 2)不具备最小方差性
由于
?
?
?
?
????
22
2
2
2
2
111
)(
)(
)()
?
()
?
v a r(
i
ii
i
i
i
x
xE
x
x
EE
?
????
2
2
22
)(
)(
?
?
?
i
ii
x
Ex ?
(注:交叉项 ?
?
))((
,jjii
ji
ji
xx ?? 的期望为零)
在 i
?
为同方差的假定下,
22
)()v ar ( ??? ??
ii
E
??
?
??
2
2
22
22
1
)(
)
?
v a r (
ii
i
xx
x ??
?
(2, 4, 3 )
在 i
?
存在异方差的情况下
)()()v a r (
222
iiii
XfE ???? ???
假设
2
)(
ii
XXf ?
,并且记异方差情况下
1
? 的 O L S 估计为
1
~
?,则
?
?
??
?
???
2
22
2
2
22
22
1
)(
)(
)
~
v a r(
i
ii
ii
ii
x
Xx
xx
Xfx ??
?
(2, 4, 4 )
对大多数经济资料有:
1
222
???
iii
xXx
,
比较 (2, 4, 3 ) 与 (2, 4, 4 ),
)
?
v a r ()
~
v a r (
11
?? ?
( 2,4,5 )
2、变量的显著性检验失去意义
关于变量的显著性检验中,构造了 t 统计量
)?(/? ii St ??? ( 2, 4,6 )
在该统计量中包含有随机误差项共同的方差,并且有
t统计量服从自由度为 (n-k-1)的 t分布。如果出现了
异方差性,t检验就失去意义。
其它检验也类似。
3、模型的预测失效
一方面, 由于上述后果, 使得模型不具有良好
的统计性质;
另一方面, 在预测值的置信区间中也包含有随
机误差项共同的方差 ?2。
所以, 当模型出现异方差性时, 参数 OLS估计
值的变异程度增大, 从而造成对 Y的预测误差变
大, 降低预测精度, 预测功能失效 。
三、异方差性的检验
1、检验方法的共同思路
? 由于 异方差性 就是相对于不同的解释变量观测值,
随机误差项具有不同的方差。那么:
检验异方差性,也就是检验随机误差项的方差与
解释变量观测值之间的相关性及其相关的“形式”。
? 问题在于用什么来表示随机误差项的方差
一般的处理方法:
首先采用 O L S 法估计模型,以求得随机误差项的
估计量 (注意,该估计量是不严格的),我们称之为, 近
似估计量,,用
~e
i 表示。于是有
O L Siii YYe )?(
~ ??
V a r E ei i i( ) ( )
~? ?? ?2 2
( 2, 4, 7 )
即用 ~e i 2 来表示随机误差项的方差。
2、图示检验法
( 1)用 X-Y的散点图进行判断
看是否存在明显的 散点扩大, 缩小 或 复杂型趋
势 (即不在一个固定的带型域中)
看是否形成一斜率为零的直线
(2) X- ~e i 2 的散点图进行判断
~
e
i
2
~
e
i
2
X X
同方差 递增异方差
~
e
i
2
~
e
i
2
X X
递减异方差 复杂型异方差
3、解析法
( 1)戈德菲尔德 -匡特( Goldfeld-Quandt)检验 ☆
G-Q检验以 F检验为基础, 适用于样本容量较大,
异方差递增或递减的情况 。
G-Q检验的思想,
先将样本一分为二,对子样 ① 和子样 ② 分别作回
归,然后利用两个子样的残差之比构造统计量进行
异方差检验。
由于该统计量服从 F分布,因此假如存在递增的异
方差,则 F远大于 1;反之就会等于 1(同方差)、或
小于 1(递减方差)。
G-Q检验的步骤:
① 将 n对样本观察值 (Xi,Yi)按解释变量观察值 Xi的大
小排队
②将序列中间的 c=n/4个观察值除去,并将剩下的观
察值划分为较小与较大的相同的两个子样本,每
个子样样本容量均为 (n-c)/2
③ 对每个子样分别求回归方程,并计算各自的残差平
方和。
分别用 ?
2
1
~
i
e
与 ?
2
2
~
i
e 表示对应较小 iX 与较大 iX 的
子样本的残差平方和 ( 自由度均为 1
2
??
?
k
cn
)
④ 提出假设,0H, 2221 ?? ?, 1H, 2221 ?? ?
21? 与 22? 分别为两个子样对应的随机项方差。
⑤ 构造统计量
)1
2
,1
2
(~
)1
2
(
~
)1
2
(
~
2
1
2
2
??
?
??
?
??
?
??
?
?
?
?
k
cn
k
cn
F
k
cn
e
k
cn
e
F
i
i
⑥ 检验。给定显著性水平 ?,确定 F 分布表中相应的临界
值 ),( 21 vvF ? 。
若 F > ),( 21 vvF ?,存在递增异方差;
反之,不存在异方差。
( 2)戈里瑟( Gleiser)检验与帕克( Park)检验
? 戈里瑟检验与帕克检验的思想:
选择关于变量 jX 的不同的函数形式 (如
2)(
jiji XXf ? 或
iv
jiji eXXf
?? 2)( ?
),对方程进行估计并进行显著性检验;
如果存在某一种函数形式,使得方程显著成立,
则说明原模型存在异方差性。
以 |e~ |或 ~e
i
2 为被解释变量,以原模型的某一解释变量
j
X 为
解释变量,建立如下方程:
ijii Xfe ??? )(|
~
| i =1,2,?,n ( G l e i s e r )
或 ijii Xfe ??? )(
~ 2
i =1,2,?,n ( P a r k )
注意:
由于 f(Xj)的具体形式未知,因此需要进行各种
形式的试验。
如 P ark 检验法中, 对一般的 方程形式:
i
v
jiji
eXXf
?
?
2
)( ?
通过 ijii
vXe ??? lnln)
~
l n (
22
??
检验
?
的显著性,若存在统计上的显著性,表明存在
异方差性。
四、异方差性的估计
—— 加权最小二乘法 (WLS)
Weighted Least Squares
1、加权最小二乘法的基本思想
? 加权最小二乘法 是对原模型加权,使之变成一
个新的不存在异方差性的模型,然后采用普通
最小二乘法估计其参数。
? 例如,在递增异方差下,对来自较小 Xi的子
样本,其真实的总体方差较小,Yi与回归线拟
合值之间的残差 ei的信度较大,应予以重视 ; 而
对较大 Xi的子样本,由于真实总体的方差较大,
残差反映的信息应打折扣。
? 加权最小二乘法就是对加了权重的残差平方和
实施 OLS法:
对较小的残差平方 ei2赋予较大的权数,
对较大的残差平方 ei2赋予较小的权数。
2
110
2 )]???([? ? ?????
kkiiii XXYWeW ??? ?
2、一个例子
? 例如,如果在检验过程中已经知道:
V a r E f xi i i ji( ) ( ) ( )? ? ? ?? ? ?2 2 2
即随机误差项的方差与解释变量 jX 之间存在
相关性,那么可以用 )( jXf 去除原模型,使之
变成如下形式的新模型:
????? i
ji
i
jiji
i
ji
X
Xf
X
XfXf
y
Xf
22110
)(
1
)(
1
)(
1
)(
1
???
i
ji
ki
ji
k
Xf
X
Xf
??
)(
1
)(
1
??
在该模型中,存在
222 )(
)(
1
)
)(
1
()
)(
1
( ???? ??? i
ji
i
ji
i
ji
E
XfXf
E
Xf
V a r
即满足同方差性。于是可以用 OL S 估计其
参数,得到关于参数 ? ? ?0 1,,,? k 的无偏的、有
效的估计量。这就是加权最小二乘法,在这
里权就是
)(
1
ji
Xf
。
3、一般情况
对于模型
Y=XB+N (2.4.8)
存在
E
C o v E
( )
( ) ( )
?
? ? ? ?
?
? ? ? ?
0
2
? W
W ?
?
?
?
?
?
?
?
?
?
?
?
?
w
w
w
n
1
2
? ( 2, 4, 9 )
即存在 异方差性 。
设 W D D? ?
其中
?
?
?
?
?
?
?
?
?
?
?
?
?
n
w
w
D ?
1
该模型具有同方差性。因为
?
??
?
? ???
? ???? 1111**
)()()( DDDD NNEENNE
IDDDDWDD
1111 222
??? ?????
????
用 D 1? 左乘 ( 2, 4, 8 ) 两边,得到一个新的模型:
D Y D X D? ? ?? ?1 1 1? ? ( 2, 4, 1 0 )
即 Y X
* * *? ?? ?
这就是原模型 (2.4.8)的加权最小二乘估计
量, 它是无偏, 有效的 。
这里权矩阵为 D-1,它来自于矩阵 W 。
于是,可以用 OL S 法估计模型 ( 2, 4, 1 0 ),得
?
( )
* * * *
? ?
? ??
X X X Y
1
? ?
?
?
?
? ? ?
? ? ? ? ?
? ? ?
( )
( )
X D D X X D D Y
X W X X W Y
1 1 1 1 1
1 1 1
( 2, 4, 1 1 )
4、求得权矩阵 W的一种实用方法
从前面的推导过程看, 它来自于原模型
( 2.4.8) 残差项 N的方差 -协方差矩阵, 因
此仍然可对原模型 (2.4.8)首先采用 OLS法,
得到随机误差项的近似估计量, 以此构成
权矩阵的估计量, 即
?
~
~
~
W ?
?
?
?
?
?
?
?
?
?
?
?
?
e
e
e
n
1
2
2
2
2
?
,
?
?
?
?
?
?
?
?
?
?
?
?
?
?
|
~
|/1
|
~
|1
|
~
|1
2
1
1
n
e
e
e
?
D
( 2, 4, 1 2 )
5、加权最小二乘法具体步骤
① 选择普通最小二乘法估计原模型,得到随机误差
项的近似估计量 ~e i ;
② 建立 |~|1 ie 的数据序列;
③ 选择加权最小二乘法,以 |
~
|1
i
e 序列作为权,进
行估计得到参数估计量。
实际上是以 |
~
|1
i
e 乘原模型的两边,得到一个新模
型,采用普通最小二乘法估计新模型。
6、注意
? 在实际建模过程中,尤其是截面数据作样本时,
人们通常 并不对原模型进行异方差性检验,而是直
接选择加权最小二乘法,尤其是采用截面数据作样
本时。
如果确实存在异方差,则被有效地消除了;
如果不存在异方差性,则加权最小二乘法等价
于普通最小二乘法。
? 在应用软件中,给出了权矩阵的多种选择。
例如在 Eviews中给出了权矩阵的 3种选择,White权
矩阵,Newey-West权矩阵和自己输入权矩阵 。
? White,1980,A heteroskedasticity-consistent
convariance matrix and direct test for
heteroskedaticity,Econometrica,48,817-38
? Newey,West,1987,A Simple Positive Semi-
Definite,Heteroskedasticity and Autocorrelation
Consistent Covariance Matrix,
Econometrica,55,703-8
五、案例 — 1
— 某地区居民储蓄模型
某地区 31年来居民收入与储蓄额数据表
表 4 - 1 单位:万元
年份 居民收入
( X )
储蓄
( Y )
年份 居民收入
( X )
储蓄
( Y )
年份 居民收入
( X )
储蓄
( Y )
1 9 6 8 8 7 7 7 2 6 4 1 9 7 9 1 7 6 6 3 9 5 0 1 9 9 0 2 9 5 6 0 2 1 0 5
1 9 6 9 9 2 1 0 1 0 5 1 9 8 0 1 8 5 7 5 7 7 9 1 9 9 1 2 8 1 5 0 1 6 0 0
1 9 7 0 9 9 5 4 90 1 9 8 1 1 9 5 3 5 8 1 9 1 9 9 2 3 2 1 0 0 2 2 5 0
1 9 7 1 1 0 5 0 8 1 3 1 1 9 8 2 2 1 1 6 3 1 2 2 2 1 9 9 3 3 2 5 0 0 2 4 2 0
1 9 7 2 1 0 9 7 9 1 2 2 1 9 8 3 2 2 8 8 0 1 0 7 2 1 9 9 4 3 5 2 5 0 2 5 7 0
1 9 7 3 1 1 9 1 2 1 0 7 1 9 8 4 2 4 1 2 7 1 5 7 8 1 9 9 5 3 3 5 0 0 1 7 2 0
1 9 7 4 1 2 7 4 7 4 0 6 1 9 8 5 2 5 6 0 4 1 6 5 4 1 9 9 6 3 6 0 0 0 1 9 0 0
1 9 7 5 1 3 4 9 9 5 0 3 1 9 8 6 2 6 5 0 0 1 4 0 0 1 9 9 7 3 6 2 0 0 2 1 0 0
1 9 7 6 1 4 2 6 9 4 3 1 1 9 8 7 2 7 6 7 0 1 8 2 9 1 9 9 8 3 8 2 0 0 2 3 0 0
1 9 7 7 1 5 5 2 2 5 8 8 1 9 8 8 2 8 3 0 0 2 2 0 0
1 9 7 8 1 6 7 3 0 8 9 8 1 9 8 9 2 7 4 3 0 2 0 1 7
1,直接使用 O LS 法得:
XY 0 8 4 6.060.665
? ???
( -5, 87 ) ( 18, 04 )
2
R =0, 9182
1、普通最小二乘估计
2,异方差检验
( 1)图示检验
0
500
1000
1500
2000
2500
3000
0 5000 10000 15000 20000 25000 30000 35000 40000 45000
X
Y
⑵ G-Q检验
① 求两个子样本( n1=n2=12)回归方程的残差平
方和 RSS1与 RSS2;
对第 1 个子样本 ( 1 9 6 8 ~ 1 9 7 9 ):
XY 0954.058.823?
1
???
( - 4, 8 6 4 ) ( 7, 3 0 0 )
2
R =0, 8 4 2,
1
R S S = ?
2
i
e =1 6 2 8 9 9, 2
对第二个子样本 ( 1 9 7 7 ~ 1 9 8 8 )
XY 0294.007.1141?
2
??
( 1, 6 0 7 ) ( 1, 3 3 7 )
2
R
=0, 1 5 1 7,2R S S = ?
2
i
e =7 6 9 8 9 9, 2
② 计算 F统计量
F=RSS2/RSS1=769899.2/162899.2=4.726
③ 查表
在 5%的显著性水平下,第 1和第 2自由度
均为( 31-7) /2-2=10的 F分布临界值为
F0.05(10,10)=2.97
由于 F=4.72 > F0.05(10,10)= 2.97
因此, 否定两组子样方差相同的假设, 从而
该 总体随机项存在递增异方差性 。
⑶ Park检验
显然,lnXi前的参数表现为统计上显著的,
表明原数据存在异方差性 。
对直接使用 OL S 法估计的残差项的平方
2~
i
e 进行如下一般形式的回归:
iii
vXe ??? ln
~
ln
2
??
得,iii vXe ???? ln81.299.17
~
ln
2
t ( -2,8 9 ) (4,4 8 )
2
R = 0,4 0 9 3
3、异方差模型的估计
① 设异方差
222
ii
X?? ?,
以 ii XXf ?)( 去除原模型两边,得新模型
*
1
*
0
*
??? ??? XY
其中 iXYY /
*
?,
i
XX /1
*
?,
i
X/
*
?? ?
运用 O LS 法得
086.05.708
? ** ??? XY
( - 1 0, 2 1 ) ( 20, 6 3 )
2
R
=0, 7 8 2 5
则原模型估计为:
XY 0 8 6.05.7 0 8? ???
( - 1 0, 2 1 ) ( 20, 6 3 )
2
R =0, 7 8 2 5
与 OLS估计结果相比较,拟合效果更差 。
为什么?关于异方差形式的假定 …
与 OLS估计结果相比较,拟合效果更好 。
② 如果用估计的
~
e
i
2
作为矩阵 W 的主对角线元素,即相当于
用 |
~
|/1
i
e 为权重进行加权最小二乘估计 ( WLS ),则有
XY 0 8 5 7.006.686
?
???
( - 2 9, 14 ) ( 43, 59 )
2
R
= 0, 9925
五、案例 — 2
— 居民消费二元模型
1,OLS估计结果
D e p e n d e n t V a r i a b l e, C O N S
M e t h o d, L e a st S q u a r e s
D a t e, 0 3 / 0 1 / 0 3 T i m e, 0 0, 4 6
S a m p l e, 1 9 8 1 1 9 9 6
I n cl u d e d o b se r v a t i o n s,1 6
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 5 4 0, 5 2 8 6 8 4, 3 0 1 5 3 6, 4 1 1 8 4 8 0, 0 0 0 0
G D P 0, 4 8 0 9 4 8 0, 0 2 1 8 6 1 2 2, 0 0 0 3 5 0, 0 0 0 0
C O N S 1 0, 1 9 8 5 4 5 0, 0 4 7 4 0 9 4, 1 8 7 9 6 9 0, 0 0 1 1
R - sq u a r e d 0, 9 9 9 7 7 3 M e a n d e p e n d e n t v a r 1 3 6 1 8, 9 4
A d j u st e d R - sq u a r e d 0, 9 9 9 7 3 9 S, D, d e p e n d e n t v a r 1 1 3 6 0, 4 7
S, E, o f r e g r e ssi o n 1 8 3, 6 8 3 1 A ka i ke i n f o cr i t e r i o n 1 3, 4 3 1 6 6
S u m sq u a r e d r e si d 4 3 8 6 1 3, 2 S ch w a r z cr i t e r i o n 1 3, 5 7 6 5 2
L o g l i ke l i h o o d - 1 0 4, 4 5 3 3 F - st a t i st i c 2 8 6 8 2, 5 1
D u r b i n - W a t so n st a t 1, 4 5 0 1 0 1 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
2,WLS估计结果
D e p e n d e n t V a r i a b l e, C O N S
M e t h o d, L e a st S q u a r e s
D a t e, 0 3 / 0 1 / 0 3 T i m e, 0 0, 4 7
S a m p l e, 1 9 8 1 1 9 9 6
I n cl u d e d o b se r v a t i o n s,1 6
W e i g h t i n g se r i e s,E
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 5 1 8, 2 8 8 1 2 0, 5 2 6 2 0 2 5, 2 5 0 0 8 0, 0 0 0 0
G D P 0, 4 8 3 8 1 4 0, 0 0 3 6 0 7 1 3 4, 1 3 4 8 0, 0 0 0 0
C O N S 1 0, 1 9 3 5 2 5 0, 0 0 8 4 6 4 2 2, 8 6 4 7 7 0, 0 0 0 0
W e i g h t e d S t a t i st i cs
R - sq u a r e d 0, 9 9 9 9 9 9 M e a n d e p e n d e n t v a r 1 9 9 4 3, 8 1
A d j u st e d R - sq u a r e d 0, 9 9 9 9 9 9 S, D, d e p e n d e n t v a r 4 0 7 3 0, 3 1
S, E, o f r e g r e ssi o n 4 7, 5 8 5 7 4 A ka i ke i n f o cr i t e r i o n 1 0, 7 3 0 3 0
S u m sq u a r e d r e si d 2 9 4 3 7, 2 3 S ch w a r z cr i t e r i o n 1 0, 8 7 5 1 6
L o g l i ke l i h o o d - 8 2, 8 4 2 4 3 F - st a t i st i c 9 8 0 7 3 6, 2
D u r b i n - W a t so n st a t 1, 8 1 0 4 7 1 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
3、比较
各项统计检验指标全面改善