§ 3.6 受约束回归在建立回归模型时,有时根据经济理论需对模型中变量的参数施加一定的约束条件。
如,0阶齐次性 条件的消费需求函数
1阶齐次性 条件的 C-D生产函数模型施加约束条件后进行回归,称为 受约束回归 ( restricted regression) ;
不加任何约束的回归称 为 无约束回归
( unrestricted regression)。
受约束回归一、模型参数的线性约束二、对回归模型增加或减少解释变量三、参数的稳定性
*四、非线性约束一、模型参数的线性约束对模型
kk XXXY?22110
施加约束
121 kk1

*11121110 )1( kkkk XXXXY?

** 1133*110* kk XXXY?
(*)
(**)
如果对( **)式回归得出
1310?,,?,?,k
则由约束条件可得:
12?1 1 kk
然而,对所考查的具体问题 能否施加约束?
需进一步进行相应的检验。 常用的检验有,
F检验,x2检验与 t检验,
主要介绍 F检验在同一样本下,记 无约束 样本回归模型为
eβXY
受约束 样本回归模型为
**? eβXY
于是
)ββX(eβXeβXβXYe ****
受约束 样本回归模型的 残差平方和 RSSR
)ββX(X)ββ(eeee ****
于是
eeee **
e’e为 无约束 样本回归模型的 残差平方 和 RSSU
(*)
受约束 与 无约束 模型都有 相同的 TSS
由( *)式 RSSR? RSSU
从而 ESSR? ESSU
这意味着,通常情况下,对模型施加约束条件会降低模型的解释能力 。
但是,如果 约束条件 为 真,则 受约束 回归模型与 无约束 回归模型具有相同的解释能力,
RSSR 与 RSSU的差异变小。
可用 RSSR - RSSU的大小来检验约束的真实性根据数理统计学的知识:
)1(~/ 22 UU knR S S
)1(~/ 22 RR knR S S
)(~/)( 22 RUUR kkR SSR SS
于是:
)1,(~)1/( )/()( URU
UU
RUUR knkkF
knR S S
kkR S SR S SF
讨论:
如果约束条件无效,RSSR 与 RSSU的差异较大,
计算的 F值也较大。
于是,可用计算的 F统计量的值与所给定的显著性水平下的临界值作比较,对约束条件的真实性进行检验。
注意,kU - kR恰为约束条件的个数。
例 3.6.1 中国城镇居民对食品的人均消费需求实例中,对 零阶齐次性 检验:
231.010/003240.0 1/)003240.0003315.0(F
取?=5%,查得 临界值 F0.05(1,10)=4.96
判断,不能拒绝中国城镇居民对食品的人均消费需求函数具有零阶齐次特性这一假设 。
无约束回归,RSSU=0.00324,kU=3
受约束回归,RSSR=0.00332,KR=2
样本容量 n=14,约束条件个数 kU - kR=3-2=1
这里的 F检验适合所有关于参数线性约束的检验如:多元回归中对 方程总体线性性 的 F检验:
H0,?j=0 j=1,2,…,k
这里:受约束回归模型为
*0Y
)1/(
/
)1/(
/)(
)1/(
/)(
)1/(
)/()(






knR S S
kE S S
knR S S
kR S STS S
knR S S
kR S SE S STS S
knR S S
kkR S SR S S
F
U
U
U
U
U
UR
UU
RUUR
这里,运用了 ESSR = 0。
二、对回归模型增加或减少解释变量考虑如下两个回归模型
kk XXY?110
qkqkkkkk XXXXY 11110
(*)
(**)
(*)式可看成是( **)式的 受约束回归:
H0,0
21 qkkk
相应的F统计量为:
))1(,(~
))1(/(
/)(
))1(/(
/)(



qknqF
qknR S S
qE S SE S S
qknR S S
qR S SR S S
F
U
RU
U
UR
如果约束条件为真,即额外的变量 Xk+1,…,
Xk+q对Y没有解释能力,则F统计量较小;
否则,约束条件为假,意味着额外的变量对Y
有较强的解释能力,则F统计量较大。
因此,可通过 F的 计算值 与 临界值 的比较,来判断额外变量是否应包括在模型中。
讨论:
F统计量的另一个等价式
))1(/()1(
/)(
2
22


qknR
qRRF
U
RU
三、参数的稳定性
1、邹氏参数稳定性检验建立模型时往往希望模型的参数是稳定的,即所谓的 结构不变,这将提高模型的预测与分析功能。 如何检验?
假设 需要建立的模型 为
kk XXY?110
在 两 个 连 续 的 时 间 序 列 ( 1,2,…,n1 ) 与
( n1+1,…,n1+n2) 中,相应的模型分别为:
1110 kk XXY?
2110 kk XXY?
合并两个时间序列为 ( 1,2,…,n1,n1+1,…,n1+n2 ),
则可写出如下 无约束回 归模型










2
1
2
1
2
1
μ
μ
α
β
X0
0X
Y
Y
如果?=?,表示没有发生结构变化,因此可针对如下假设进行检验:
H0,?=?
(*)式施加上述约束后变换为 受约束 回归模型
(*)








2
1
2
1
2
1
μ
μβ
X
X
Y
Y ( **)
因此,检验的 F统计量为:
)]1(2,[~)]1(2/[ /)( 21
21
knnkFknnR S S kR S SR S SF
U
UR
记 RSS1与 RSS2为在两时间段上分别回归后所得的残差平方和,容易验证,
21 R S SR S SR S S U于是
)]1(2,[~)]1(2/[)( /)]([ 21
2121
21

knnkF
knnR S SR S S
kR S SR S SR S SF R
参数稳定性的检验步骤:
( 1)分别以两连续时间序列作为两个样本进行回归,得到相应的残差平方,RSS1与 RSS2
( 2)将两序列并为一个大样本后进行回归,
得到大样本下的残差平方和 RSSR
( 3)计算 F统计量的值,与临界值比较:
若 F值 大于 临界值,则拒绝原假设,认为发生了结构变化,参数是非稳定的。
该 检 验 也 被 称 为 邹 氏 参 数 稳 定 性 检 验
( Chow test for parameter stability) 。
2、邹氏预测检验上述参数稳定性检验要求 n2>k。
如果出现 n2<k,则往往进行如下的 邹氏预测检验 ( Chow test for predictive failure)。
邹氏预测检验的基本思想,
先用前一时间段 n1个样本估计原模型,再用估计出的参数进行后一时间段 n2个样本的预测。
如果预测误差较大,则说明参数发生了变化,
否则说明参数是稳定的 。
分别以?,? 表示第一与第二时间段的参数,则
22222222
111
μγβXμβ)( αXβXμαXY
μβXY


其中,)( βαXγ 2
如果? =0,则? =?,表明参数在估计期与预测期相同
(*)
(*)的矩阵式:










2
1
n2
1
2
1
μ
μ
γ
β
IX
0X
Y
Y
2
可见,用前 n1个样本估计可得前 k个参数?的估计,
而?不外是用后 n2个样本测算的预测误差 X2(? -?)
(**)
如果参数没有发生变化,则?=0,矩阵式简化为








2
1
2
1
2
1
μ
μβ
X
X
Y
Y (***)
( ***)式与( **)式
)1/(
/)(
)1/(
)/()(
11
21




knR S S
nR S SR S S
knR S S
kkR S SR S SF R
UU
RUUR
这里,KU - KR=n2
RSSU=RSS1
分别可看成 受约束 与 无约束 回归模型,于是有如下 F检验:










2
1
n2
1
2
1
μ
μ
γ
β
IX
0X
Y
Y
2
第一步,在两时间段的合成大样本下做 OLS回归,
得受约束模型的残差平方和 RSSR ;
第二步,对前一时间段的 n1个子样做 OLS回归,得残差平方和 RSS1 ;
第三步,计算检验的 F统计量,做出判断:
邹氏预测 检验步骤:
给定显著性水平?,查 F分布表,得临界值 F?(n2,n1-k-1)
如果 F>F(n2,n1-k-1),则拒绝原假设,认为预测期发生了结构变化 。
例 3.6.2 中国城镇居民食品人均消费需求的邹氏检验。
1、参数稳定性检验
1981~1994:
)l n (92.0)l n (08.0)l n (05.163.3)?l n ( 01 PPXQ RSS1=0.003240
1995~2001:
01 ln71.0ln06.3ln55.078.13ln PPXQ
(9.96) (7.14) (-5.13) (1.81)
1981~2001:
01 ln39.1ln14.0ln21.100.5ln PPXQ
(14.83) (27.26) (-3.24) (-11.17)
34.10)821/()00 005 8.000 324 0.0( 4/)]00 005 8 0.000 324 0.0(01 378 9.0[F
给定?=5%,查表得临界值 F0.05(4,13)=3.18
判断,F值 >临界值,拒绝参数稳定的原假设,表明中国城镇居民食品人均消费需求在 1994年前后发生了显著变化。
2,邹氏预测 检验
65.4)1314/(0 0 3 2 4 0.0 7/)0 0 3 2 4 0.00 1 3 7 8 9.0(F
给定?=5%,查表得临界值 F0.05(7,10)=3.18
判断,F值 >临界值,拒绝参数稳定的原假设
*四、非线性约束也可对模型参数施加 非线性约束,如对模型
kk XXXY?22110
施加非线性约束?1?2=1,得到 受约束回归模型,
*2
1
110
1
kk XXXY?
该 模 型 必 需 采 用 非线性最小二乘法
( nonlinear least squares) 进行估计 。
非线性约束检验 是建立在 最大似然原理 基础上的,有 最大似然比检验,沃尔德检验 与 拉格朗日乘数检验,
1、最大似然比检验 (likelihood ratio test,LR)
估计,无约束回归模型与受约束回归模型,
方法,最大似然法,
检验,两个似然函数的值的差异是否,足够,大。
记 L(?,?2)为一似然函数,
无约束回归,Max,)?,?(
2?βL
受约束回归,Max:
)~,~( 2?βL
或 求极值,)(),(
2 βλβ gL
g(?):以各约束条件为元素的列向量,
’:以相应拉格朗日乘数为元素的行向量约束,g(?)=0
受约束 的函数值不会超过 无约束 的函数值,但如果 约束条件为真,则两个函数值就非常,接近,。
22~~,L,L ββ
由此,定义 似然比 ( likelihood ratio),
如果 比值很小,说明 两似然函数值差距较大,
则应 拒绝 约束条件为真的假设;
如果 比值接近于1,说明 两似然函数值很接近,
应 接受 约束条件为真的假设。
具体检验 时,由于大样本下:
)(~)]?,?(ln)~,~([ ln2 222 hLLLR ββ
h是约束条件的个数。因此:
通过 LR统计量的?2分布特性来进行判断。
在 中国城镇居民人均食品消费需求例 中,对 零阶齐次性 的检验:
LR= -2(38.57-38.73)=0.32
给出?=5%、查得 临界值?20.05(1)= 3.84,
判断,LR<?20.05(1),不拒绝原约束的假设,
表明,中国城镇居民对食品的人均消费需求函数满足零阶齐次性条件 。
2、沃尔德检验 ( Wald test,W)
沃尔德检验中,只须估计无约束模型。如对
kk XXXY?22110
在所有古典假设都成立的条件下,容易证明
),(~ 22121 21 N
因此,在?1+?2=1的约束条件下
)1,0(~1
21
21 Nz



记 )(~~ 22
21 Xf
可建立 沃尔德统计量,
)1(~~ )1( 22

2
21
21


W
如果有 h个约束条件,可得到 h个统计量 z1,z2,…,zh
约束条件为真时,可建立 大样本 下的服从自由度为 h的渐近?2 分布统计量
)(~ 2 hW?ZCZ 1
其中,Z为以 zi为元素的列向量,C是 Z的方差 -协方差矩阵。
因此,W从总体上测量了无约束回归不满足约束条件的程度。
对 非线性约束,沃尔德统计量 W的算法描述要复杂得多。
3、拉格朗日乘数检验拉格朗日乘数检验则只需估计 受约束 模型,
受约束回归是求最大似然法的极值问题,
)(),( 2 βλβ gL
’是拉格朗日乘数行向量,衡量各约束条件对最大似然函数值的影响程度。
如果某一约束为真,则该约束条件对最大似然函数值的影响很小,于是,相应的拉格朗日乘数的值应接近于零 。
因此,拉格朗日乘数检验就是检验某些拉格朗日乘数的值是否,足够大,,如果,足够大,,
则拒绝约束条件为真的假设 。
拉格朗日统计量 LM本身是一个关于拉格朗日乘数的复杂的函数,在各约束条件为真的情况下,服从一自由度恰为约束条件个数的渐近?2分布 。
2nRLM?
n为样本容量,R2为如下被称为 辅助回归 ( auxiliary
regression)的可决系数,
kkR XXXe 22110
如果约束是非线性的,辅助回归方程的估计比较复杂,
但仍可按( *)式计算 LM统计量的值。
最后,一般地有,LM?LR?W
同样地,如果为线性约束,LM服从一精确的?2分布:
(*)