§ 3.6 受约束回归
在建立回归模型时,有时根据经济理论需对
模型中变量的参数施加一定的约束条件。
如,0阶齐次性 条件的消费需求函数
1阶齐次性 条件的 C-D生产函数
模型施加约束条件后进行回归,称为 受约束
回归 ( restricted regression) ;
不加任何约束的回归称 为 无约束回归
( unrestricted regression)。
受约束回归
一、模型参数的线性约束
二、对回归模型增加或减少解释变量
三、参数的稳定性
*四、非线性约束
一、模型参数的线性约束
对模型
????? ?????? kk XXXY ?22110
施加约束
121 ?? ?? kk ?? ??1
得
*11121110 )1( ?????? ???????? ??? kkkk XXXXY ?
或
** 1133*110* ????? ?????? ?? kk XXXY ?
(*)
(**)
如果对( **)式回归得出
1310 ?,,?,?,? ?k???? ?
则由约束条件可得:
12 ?1? ?? ?? 1?? ?? kk ??
然而,对所考查的具体问题 能否施加约束?
需进一步进行相应的检验。 常用的检验有,
F检验,x2检验与 t检验,
主要介绍 F检验
在同一样本下,记 无约束 样本回归模型为
eβXY ?? ?
受约束 样本回归模型为
**? eβXY ??
于是
)ββX(eβXeβXβXYe **** ????? ????????
受约束 样本回归模型的 残差平方和 RSSR
)ββX(X)ββ(eeee **** ???? ????????
于是
eeee ** ???
e’e为 无约束 样本回归模型的 残差平方 和 RSSU
(*)
受约束 与 无约束 模型都有 相同的 TSS
由( *)式 RSSR ? RSSU
从而 ESSR ? ESSU
这意味着, 通常情况下, 对模型施加约束
条件会降低模型的解释能力 。
但是, 如果 约束条件 为 真,则 受约束 回归
模型与 无约束 回归模型具有相同的解释能力,
RSSR 与 RSSU的差异变小。
可用 RSSR - RSSU的大小来检验约束的真实性
根据数理统计学的知识:
)1(~/ 22 ?? UU knRS S ??
)1(~/ 22 ?? RR knR S S ??
)(~/)( 22 RUUR kkRS SRS S ?? ??
于是:
)1,(~)1/( )/()( ????? ??? URU
UU
RUUR knkkF
knR S S
kkR S SR S SF
讨论:
如果约束条件无效,RSSR 与 RSSU的差异较大,
计算的 F值也较大。
于是,可用计算的 F统计量的值与所给定的显著
性水平下的临界值作比较,对约束条件的真实性进
行检验。
注意, kU - kR恰为约束条件的个数。
例 3.6.1 中国城镇居民对食品的人均消费需求
实例中, 对 零阶齐次性 检验:
2 3 1.010/0 0 3 2 4 0.0 1/)0 0 3 2 4 0.00 0 3 3 1 5.0( ???F
取 ?=5%,查得 临界值 F0.05(1,10)=4.96
判断,不能拒绝中国城镇居民对食品的人
均消费需求函数具有零阶齐次特性这一假设 。
无约束回归,RSSU=0.00324,kU=3
受约束回归,RSSR=0.00332,KR=2
样本容量 n=14,约束条件个数 kU - kR=3-2=1
这里的 F检验适合所有关于参数线性约束的检验
如:多元回归中对 方程总体线性性 的 F检验:
H0,?j=0 j=1,2,…,k
这里:受约束回归模型为
*0 ?? ??Y
)1/(
/
)1/(
/)(
)1/(
/)(
)1/(
)/()(
??
?
??
?
?
??
??
?
??
??
?
knR S S
kE S S
knR S S
kR S STS S
knR S S
kR S SE S STS S
knR S S
kkR S SR S S
F
U
U
U
U
U
UR
UU
RUUR
这里,运用了 ESSR = 0。
二、对回归模型增加或减少解释变量
考虑如下两个回归模型
???? ????? kk XXY ?110
?????? ??????? ???? qkqkkkkk XXXXY ?? 11110
(*)
(**)
(*)式可看成是( **)式的 受约束回归:
H0,0
21 ???? ??? qkkk ??? ?
相应的F统计量为:
))1(,(~
))1(/(
/)(
))1(/(
/)(
???
???
?
?
???
?
?
qknqF
qknR S S
qE S SE S S
qknR S S
qR S SR S S
F
U
RU
U
UR
如果约束条件为真,即额外的变量 Xk+1,…,
Xk+q对Y没有解释能力,则F统计量较小;
否则,约束条件为假,意味着额外的变量对Y
有较强的解释能力,则F统计量较大。
因此,可通过 F的 计算值 与 临界值 的比较,来判
断额外变量是否应包括在模型中。
讨论:
F统计量的另一个等价式
))1(/()1(
/)(
2
22
????
??
qknR
qRRF
U
RU
三、参数的稳定性
1、邹氏参数稳定性检验
建立模型时往往希望模型的参数是稳定的,即
所谓的 结构不变,这将提高模型的预测与分析功
能。 如何检验?
假设 需要建立的模型 为
???? ????? kk XXY ?110
在 两 个 连 续 的 时 间 序 列 ( 1,2,…, n1 ) 与
( n1+1,…, n1+n2) 中, 相应的模型分别为:
1110 ???? ????? kk XXY ?
2110 ???? ????? kk XXY ?
合并两个时间序列为 ( 1,2,…, n1, n1+1,…, n1+n2 ),
则可写出如下 无约束回 归模型
???
?
???
??
???
?
???
?
???
?
???
??
???
?
???
?
2
1
2
1
2
1
μ
μ
α
β
X0
0X
Y
Y
如果 ?=?,表示没有发生结构变化,因此可针对
如下假设进行检验:
H0,?=?
(*)式施加上述约束后变换为 受约束 回归模型
(*)
???
?
???
??
???
?
???
??
???
?
???
?
2
1
2
1
2
1
μ
μβ
X
X
Y
Y ( **)
因此,检验的 F统计量为:
)]1(2,[~)]1(2/[ /)( 21
21
???????? knnkFknnR S S kR S SR S SF
U
UR
记 RSS1与 RSS2为在两时间段上分别回归后所得的
残差平方和,容易验证,
21 R S SR S SR S S U ??于是
)]1(2,[~)]1(2/[)( /)]([ 21
2121
21 ???
????
??? knnkF
knnR S SR S S
kR S SR S SR S SF R
参数稳定性的检验步骤:
( 1)分别以两连续时间序列作为两个样本进行回
归,得到相应的残差平方,RSS1与 RSS2
( 2)将两序列并为一个大样本后进行回归,
得到大样本下的残差平方和 RSSR
( 3)计算 F统计量的值,与临界值比较:
若 F值 大于 临界值,则拒绝原假设,认为
发生了结构变化,参数是非稳定的。
该 检 验 也 被 称 为 邹 氏 参 数 稳 定 性 检 验
( Chow test for parameter stability) 。
2、邹氏预测检验
上述参数稳定性检验要求 n2>k。
如果出现 n2<k,则往往进行如下的 邹氏预测检
验 ( Chow test for predictive failure)。
邹氏预测检验的基本思想,
先用前一时间段 n1个样本估计原模型,再用
估计出的参数进行后一时间段 n2个样本的预测。
如果预测误差较大,则说明参数发生了变化,
否则说明参数是稳定的 。
分别以 ?,? 表示第一与第二时间段的参数,则
22222222
111
μγβXμβ)( αXβXμαXY
μβXY
?????????
??
其中,)( βαXγ 2 ??
如果 ? =0,则 ? = ?,表明参数在估计期与
预测期相同
(*)
(*)的矩阵式:
???
?
???
??
???
?
???
?
???
?
???
??
???
?
???
?
2
1
n2
1
2
1
μ
μ
γ
β
IX
0X
Y
Y
2
可见,用前 n1个样本估计可得前 k个参数 ?的估计,
而 ?不外是用后 n2个样本测算的预测误差 X2(? - ?)
(**)
如果参数没有发生变化,则 ?=0,矩阵式简化为
???
?
???
??
???
?
???
??
???
?
???
?
2
1
2
1
2
1
μ
μβ
X
X
Y
Y (***)
( ***)式与( **)式
)1/(
/)(
)1/(
)/()(
11
21
??
??
??
???
knR S S
nR S SR S S
knR S S
kkR S SR S SF R
UU
RUUR
这里,KU - KR=n2
RSSU=RSS1
分别可看成 受约束 与 无约束 回归模型, 于是有如
下 F检验:
???
?
???
??
???
?
???
?
???
?
???
??
???
?
???
?
2
1
n2
1
2
1
μ
μ
γ
β
IX
0X
Y
Y
2
第一步, 在两时间段的合成大样本下做 OLS回归,
得受约束模型的残差平方和 RSSR ;
第二步, 对前一时间段的 n1个子样做 OLS回归, 得
残差平方和 RSS1 ;
第三步, 计算检验的 F统计量, 做出判断:
邹氏预测 检验步骤:
给定显著性水平 ?,查 F分布表, 得临界值 F?(n2,n1-k-1)
如果 F>F(n2,n1-k-1), 则拒绝原假设, 认为预测期发生了
结构变化 。
例 3.6.2 中国城镇居民食品人均消费需求的邹氏
检验。
1、参数稳定性检验
1981~1994:
)ln (92.0)ln (08.0)ln (05.163.3)?ln ( 01 PPXQ ???? RSS1=0.003240
1995~2001:
01 ln71.0ln06.3ln55.078.13ln PPXQ ????
(9.96) (7.14) (-5.13) (1.81)
1981~2001:
01 ln39.1ln14.0ln21.100.5ln PPXQ ????
(14.83) (27.26) (-3.24) (-11.17)
34.10)821/()0 0 0 0 5 8.00 0 3 2 4 0.0( 4/)]0 0 0 0 5 8 0.00 0 3 2 4 0.0(0 1 3 7 8 9.0[ ??? ???F
给定 ?=5%,查表得临界值 F0.05(4,13)=3.18
判断,F值 >临界值,拒绝参数稳定的原假设,表
明中国城镇居民食品人均消费需求在 1994年前后发
生了显著变化。
2,邹氏预测 检验
65.4)1314/(0 0 3 2 4 0.0 7/)0 0 3 2 4 0.00 1 3 7 8 9.0( ?????F
给定 ?=5%,查表得临界值 F0.05(7,10)=3.18
判断, F值 >临界值,拒绝参数稳定的原假设
*四、非线性约束
也可对模型参数施加 非线性约束,如对模型
????? ?????? kk XXXY ?22110
施加非线性约束 ?1?2=1,得到 受约束回归模型,
*2
1
110
1 ??
??? ?????? kk XXXY ?
该 模 型 必 需 采 用 非线性最小二乘法
( nonlinear least squares) 进行估计 。
非线性约束检验 是建立在 最大似然原理 基
础上的,有 最大似然比检验, 沃尔德检验 与 拉
格朗日乘数检验,
1、最大似然比检验 (likelihood ratio test,LR)
估计,无约束回归模型与受约束回归模型,
方法,最大似然法,
检验,两个似然函数的值的差异是否, 足够, 大。
记 L(?,?2)为一似然函数,
无约束回归, Max,)?,?(
2?βL
受约束回归, Max:
)~,~( 2?βL
或 求极值,)(),(
2 βλβ gL ???? ?
g(?):以各约束条件为元素的列向量,
?’:以相应拉格朗日乘数为元素的行向量
约束, g(?)=0
受约束 的函数值不会超过 无约束 的函数值,但
如果 约束条件为真,则两个函数值就非常, 接
近, 。
? ? ? ?22 ??~~ ??,L,L ββ
由此,定义 似然比 ( likelihood ratio),
如果 比值很小,说明 两似然函数值差距较大,
则应 拒绝 约束条件为真的假设;
如果 比值接近于1,说明 两似然函数值很接近,
应 接受 约束条件为真的假设。
具体检验 时,由于大样本下:
)(~)]?,?(ln)~,~([ l n2 222 hLLLR ??? ββ ???
h是约束条件的个数。因此:
通过 LR统计量的 ?2分布特性来进行判断。
在 中国城镇居民人均食品消费需求例 中,对 零阶
齐次性 的检验:
LR= -2(38.57-38.73)=0.32
给出 ?=5%、查得 临界值 ?20.05(1)= 3.84,
判断, LR< ?20.05(1),不拒绝原约束的假设,
表明,中国城镇居民对食品的人均消费需求函
数满足零阶齐次性条件 。
2、沃尔德检验 ( Wald test,W)
沃尔德检验中,只须估计无约束模型。如对
????? ?????? kk XXXY ?22110
在所有古典假设都成立的条件下,容易证明
),(~?? 2 ??2121 21 ??????? ??? N
因此,在 ?1+?2=1的约束条件下
)1,0(~1??
21 ??
21 Nz
???
??
?
???
记 )(~~ 22 ??
21 Xf?? ?? ??
可建立 沃尔德统计量,
)1(~~ )1??( 22
??
2
21
21
?? ??
?? ?
???W
如果有 h个约束条件,可得到 h个统计量 z1,z2,…,zh
约束条件为真时,可建立 大样本 下的服从自由度为 h的
渐近 ?2 分布统计量
)(~ 2 hW ?ZCZ 1???
其中,Z为以 zi为元素的列向量,C是 Z的方差 -协方差矩阵。
因此,W从总体上测量了无约束回归不满足约束条件的程度。
对 非线性约束,沃尔德统计量 W的算法描述要复杂得多。
3、拉格朗日乘数检验
拉格朗日乘数检验则只需估计 受约束 模型,
受约束回归是求最大似然法的极值问题,
)(),( 2 βλβ gL ???? ?
?’是拉格朗日乘数行向量,衡量各约束条件对最
大似然函数值的影响程度。
如果某一约束为真, 则该约束条件对最大似然
函数值的影响很小, 于是, 相应的拉格朗日乘数
的值应接近于零 。
因此, 拉格朗日乘数检验就是检验某些拉格朗
日乘数的值是否, 足够大,, 如果, 足够大,,
则拒绝约束条件为真的假设 。
拉格朗日统计量 LM本身是一个关于拉格朗日乘数的复杂
的函数, 在各约束条件为真的情况下, 服从一自由度恰为
约束条件个数的渐近 ?2分布 。
2nRLM ?
n为样本容量,R2为如下被称为 辅助回归 ( auxiliary
regression)的可决系数,
kkR XXXe ???? ????? 22110 ????? ?
如果约束是非线性的,辅助回归方程的估计比较复杂,
但仍可按( *)式计算 LM统计量的值。
最后,一般地有,LM?LR?W
同样地,如果为线性约束,LM服从一精确的 ?2分布:
(*)
在建立回归模型时,有时根据经济理论需对
模型中变量的参数施加一定的约束条件。
如,0阶齐次性 条件的消费需求函数
1阶齐次性 条件的 C-D生产函数
模型施加约束条件后进行回归,称为 受约束
回归 ( restricted regression) ;
不加任何约束的回归称 为 无约束回归
( unrestricted regression)。
受约束回归
一、模型参数的线性约束
二、对回归模型增加或减少解释变量
三、参数的稳定性
*四、非线性约束
一、模型参数的线性约束
对模型
????? ?????? kk XXXY ?22110
施加约束
121 ?? ?? kk ?? ??1
得
*11121110 )1( ?????? ???????? ??? kkkk XXXXY ?
或
** 1133*110* ????? ?????? ?? kk XXXY ?
(*)
(**)
如果对( **)式回归得出
1310 ?,,?,?,? ?k???? ?
则由约束条件可得:
12 ?1? ?? ?? 1?? ?? kk ??
然而,对所考查的具体问题 能否施加约束?
需进一步进行相应的检验。 常用的检验有,
F检验,x2检验与 t检验,
主要介绍 F检验
在同一样本下,记 无约束 样本回归模型为
eβXY ?? ?
受约束 样本回归模型为
**? eβXY ??
于是
)ββX(eβXeβXβXYe **** ????? ????????
受约束 样本回归模型的 残差平方和 RSSR
)ββX(X)ββ(eeee **** ???? ????????
于是
eeee ** ???
e’e为 无约束 样本回归模型的 残差平方 和 RSSU
(*)
受约束 与 无约束 模型都有 相同的 TSS
由( *)式 RSSR ? RSSU
从而 ESSR ? ESSU
这意味着, 通常情况下, 对模型施加约束
条件会降低模型的解释能力 。
但是, 如果 约束条件 为 真,则 受约束 回归
模型与 无约束 回归模型具有相同的解释能力,
RSSR 与 RSSU的差异变小。
可用 RSSR - RSSU的大小来检验约束的真实性
根据数理统计学的知识:
)1(~/ 22 ?? UU knRS S ??
)1(~/ 22 ?? RR knR S S ??
)(~/)( 22 RUUR kkRS SRS S ?? ??
于是:
)1,(~)1/( )/()( ????? ??? URU
UU
RUUR knkkF
knR S S
kkR S SR S SF
讨论:
如果约束条件无效,RSSR 与 RSSU的差异较大,
计算的 F值也较大。
于是,可用计算的 F统计量的值与所给定的显著
性水平下的临界值作比较,对约束条件的真实性进
行检验。
注意, kU - kR恰为约束条件的个数。
例 3.6.1 中国城镇居民对食品的人均消费需求
实例中, 对 零阶齐次性 检验:
2 3 1.010/0 0 3 2 4 0.0 1/)0 0 3 2 4 0.00 0 3 3 1 5.0( ???F
取 ?=5%,查得 临界值 F0.05(1,10)=4.96
判断,不能拒绝中国城镇居民对食品的人
均消费需求函数具有零阶齐次特性这一假设 。
无约束回归,RSSU=0.00324,kU=3
受约束回归,RSSR=0.00332,KR=2
样本容量 n=14,约束条件个数 kU - kR=3-2=1
这里的 F检验适合所有关于参数线性约束的检验
如:多元回归中对 方程总体线性性 的 F检验:
H0,?j=0 j=1,2,…,k
这里:受约束回归模型为
*0 ?? ??Y
)1/(
/
)1/(
/)(
)1/(
/)(
)1/(
)/()(
??
?
??
?
?
??
??
?
??
??
?
knR S S
kE S S
knR S S
kR S STS S
knR S S
kR S SE S STS S
knR S S
kkR S SR S S
F
U
U
U
U
U
UR
UU
RUUR
这里,运用了 ESSR = 0。
二、对回归模型增加或减少解释变量
考虑如下两个回归模型
???? ????? kk XXY ?110
?????? ??????? ???? qkqkkkkk XXXXY ?? 11110
(*)
(**)
(*)式可看成是( **)式的 受约束回归:
H0,0
21 ???? ??? qkkk ??? ?
相应的F统计量为:
))1(,(~
))1(/(
/)(
))1(/(
/)(
???
???
?
?
???
?
?
qknqF
qknR S S
qE S SE S S
qknR S S
qR S SR S S
F
U
RU
U
UR
如果约束条件为真,即额外的变量 Xk+1,…,
Xk+q对Y没有解释能力,则F统计量较小;
否则,约束条件为假,意味着额外的变量对Y
有较强的解释能力,则F统计量较大。
因此,可通过 F的 计算值 与 临界值 的比较,来判
断额外变量是否应包括在模型中。
讨论:
F统计量的另一个等价式
))1(/()1(
/)(
2
22
????
??
qknR
qRRF
U
RU
三、参数的稳定性
1、邹氏参数稳定性检验
建立模型时往往希望模型的参数是稳定的,即
所谓的 结构不变,这将提高模型的预测与分析功
能。 如何检验?
假设 需要建立的模型 为
???? ????? kk XXY ?110
在 两 个 连 续 的 时 间 序 列 ( 1,2,…, n1 ) 与
( n1+1,…, n1+n2) 中, 相应的模型分别为:
1110 ???? ????? kk XXY ?
2110 ???? ????? kk XXY ?
合并两个时间序列为 ( 1,2,…, n1, n1+1,…, n1+n2 ),
则可写出如下 无约束回 归模型
???
?
???
??
???
?
???
?
???
?
???
??
???
?
???
?
2
1
2
1
2
1
μ
μ
α
β
X0
0X
Y
Y
如果 ?=?,表示没有发生结构变化,因此可针对
如下假设进行检验:
H0,?=?
(*)式施加上述约束后变换为 受约束 回归模型
(*)
???
?
???
??
???
?
???
??
???
?
???
?
2
1
2
1
2
1
μ
μβ
X
X
Y
Y ( **)
因此,检验的 F统计量为:
)]1(2,[~)]1(2/[ /)( 21
21
???????? knnkFknnR S S kR S SR S SF
U
UR
记 RSS1与 RSS2为在两时间段上分别回归后所得的
残差平方和,容易验证,
21 R S SR S SR S S U ??于是
)]1(2,[~)]1(2/[)( /)]([ 21
2121
21 ???
????
??? knnkF
knnR S SR S S
kR S SR S SR S SF R
参数稳定性的检验步骤:
( 1)分别以两连续时间序列作为两个样本进行回
归,得到相应的残差平方,RSS1与 RSS2
( 2)将两序列并为一个大样本后进行回归,
得到大样本下的残差平方和 RSSR
( 3)计算 F统计量的值,与临界值比较:
若 F值 大于 临界值,则拒绝原假设,认为
发生了结构变化,参数是非稳定的。
该 检 验 也 被 称 为 邹 氏 参 数 稳 定 性 检 验
( Chow test for parameter stability) 。
2、邹氏预测检验
上述参数稳定性检验要求 n2>k。
如果出现 n2<k,则往往进行如下的 邹氏预测检
验 ( Chow test for predictive failure)。
邹氏预测检验的基本思想,
先用前一时间段 n1个样本估计原模型,再用
估计出的参数进行后一时间段 n2个样本的预测。
如果预测误差较大,则说明参数发生了变化,
否则说明参数是稳定的 。
分别以 ?,? 表示第一与第二时间段的参数,则
22222222
111
μγβXμβ)( αXβXμαXY
μβXY
?????????
??
其中,)( βαXγ 2 ??
如果 ? =0,则 ? = ?,表明参数在估计期与
预测期相同
(*)
(*)的矩阵式:
???
?
???
??
???
?
???
?
???
?
???
??
???
?
???
?
2
1
n2
1
2
1
μ
μ
γ
β
IX
0X
Y
Y
2
可见,用前 n1个样本估计可得前 k个参数 ?的估计,
而 ?不外是用后 n2个样本测算的预测误差 X2(? - ?)
(**)
如果参数没有发生变化,则 ?=0,矩阵式简化为
???
?
???
??
???
?
???
??
???
?
???
?
2
1
2
1
2
1
μ
μβ
X
X
Y
Y (***)
( ***)式与( **)式
)1/(
/)(
)1/(
)/()(
11
21
??
??
??
???
knR S S
nR S SR S S
knR S S
kkR S SR S SF R
UU
RUUR
这里,KU - KR=n2
RSSU=RSS1
分别可看成 受约束 与 无约束 回归模型, 于是有如
下 F检验:
???
?
???
??
???
?
???
?
???
?
???
??
???
?
???
?
2
1
n2
1
2
1
μ
μ
γ
β
IX
0X
Y
Y
2
第一步, 在两时间段的合成大样本下做 OLS回归,
得受约束模型的残差平方和 RSSR ;
第二步, 对前一时间段的 n1个子样做 OLS回归, 得
残差平方和 RSS1 ;
第三步, 计算检验的 F统计量, 做出判断:
邹氏预测 检验步骤:
给定显著性水平 ?,查 F分布表, 得临界值 F?(n2,n1-k-1)
如果 F>F(n2,n1-k-1), 则拒绝原假设, 认为预测期发生了
结构变化 。
例 3.6.2 中国城镇居民食品人均消费需求的邹氏
检验。
1、参数稳定性检验
1981~1994:
)ln (92.0)ln (08.0)ln (05.163.3)?ln ( 01 PPXQ ???? RSS1=0.003240
1995~2001:
01 ln71.0ln06.3ln55.078.13ln PPXQ ????
(9.96) (7.14) (-5.13) (1.81)
1981~2001:
01 ln39.1ln14.0ln21.100.5ln PPXQ ????
(14.83) (27.26) (-3.24) (-11.17)
34.10)821/()0 0 0 0 5 8.00 0 3 2 4 0.0( 4/)]0 0 0 0 5 8 0.00 0 3 2 4 0.0(0 1 3 7 8 9.0[ ??? ???F
给定 ?=5%,查表得临界值 F0.05(4,13)=3.18
判断,F值 >临界值,拒绝参数稳定的原假设,表
明中国城镇居民食品人均消费需求在 1994年前后发
生了显著变化。
2,邹氏预测 检验
65.4)1314/(0 0 3 2 4 0.0 7/)0 0 3 2 4 0.00 1 3 7 8 9.0( ?????F
给定 ?=5%,查表得临界值 F0.05(7,10)=3.18
判断, F值 >临界值,拒绝参数稳定的原假设
*四、非线性约束
也可对模型参数施加 非线性约束,如对模型
????? ?????? kk XXXY ?22110
施加非线性约束 ?1?2=1,得到 受约束回归模型,
*2
1
110
1 ??
??? ?????? kk XXXY ?
该 模 型 必 需 采 用 非线性最小二乘法
( nonlinear least squares) 进行估计 。
非线性约束检验 是建立在 最大似然原理 基
础上的,有 最大似然比检验, 沃尔德检验 与 拉
格朗日乘数检验,
1、最大似然比检验 (likelihood ratio test,LR)
估计,无约束回归模型与受约束回归模型,
方法,最大似然法,
检验,两个似然函数的值的差异是否, 足够, 大。
记 L(?,?2)为一似然函数,
无约束回归, Max,)?,?(
2?βL
受约束回归, Max:
)~,~( 2?βL
或 求极值,)(),(
2 βλβ gL ???? ?
g(?):以各约束条件为元素的列向量,
?’:以相应拉格朗日乘数为元素的行向量
约束, g(?)=0
受约束 的函数值不会超过 无约束 的函数值,但
如果 约束条件为真,则两个函数值就非常, 接
近, 。
? ? ? ?22 ??~~ ??,L,L ββ
由此,定义 似然比 ( likelihood ratio),
如果 比值很小,说明 两似然函数值差距较大,
则应 拒绝 约束条件为真的假设;
如果 比值接近于1,说明 两似然函数值很接近,
应 接受 约束条件为真的假设。
具体检验 时,由于大样本下:
)(~)]?,?(ln)~,~([ l n2 222 hLLLR ??? ββ ???
h是约束条件的个数。因此:
通过 LR统计量的 ?2分布特性来进行判断。
在 中国城镇居民人均食品消费需求例 中,对 零阶
齐次性 的检验:
LR= -2(38.57-38.73)=0.32
给出 ?=5%、查得 临界值 ?20.05(1)= 3.84,
判断, LR< ?20.05(1),不拒绝原约束的假设,
表明,中国城镇居民对食品的人均消费需求函
数满足零阶齐次性条件 。
2、沃尔德检验 ( Wald test,W)
沃尔德检验中,只须估计无约束模型。如对
????? ?????? kk XXXY ?22110
在所有古典假设都成立的条件下,容易证明
),(~?? 2 ??2121 21 ??????? ??? N
因此,在 ?1+?2=1的约束条件下
)1,0(~1??
21 ??
21 Nz
???
??
?
???
记 )(~~ 22 ??
21 Xf?? ?? ??
可建立 沃尔德统计量,
)1(~~ )1??( 22
??
2
21
21
?? ??
?? ?
???W
如果有 h个约束条件,可得到 h个统计量 z1,z2,…,zh
约束条件为真时,可建立 大样本 下的服从自由度为 h的
渐近 ?2 分布统计量
)(~ 2 hW ?ZCZ 1???
其中,Z为以 zi为元素的列向量,C是 Z的方差 -协方差矩阵。
因此,W从总体上测量了无约束回归不满足约束条件的程度。
对 非线性约束,沃尔德统计量 W的算法描述要复杂得多。
3、拉格朗日乘数检验
拉格朗日乘数检验则只需估计 受约束 模型,
受约束回归是求最大似然法的极值问题,
)(),( 2 βλβ gL ???? ?
?’是拉格朗日乘数行向量,衡量各约束条件对最
大似然函数值的影响程度。
如果某一约束为真, 则该约束条件对最大似然
函数值的影响很小, 于是, 相应的拉格朗日乘数
的值应接近于零 。
因此, 拉格朗日乘数检验就是检验某些拉格朗
日乘数的值是否, 足够大,, 如果, 足够大,,
则拒绝约束条件为真的假设 。
拉格朗日统计量 LM本身是一个关于拉格朗日乘数的复杂
的函数, 在各约束条件为真的情况下, 服从一自由度恰为
约束条件个数的渐近 ?2分布 。
2nRLM ?
n为样本容量,R2为如下被称为 辅助回归 ( auxiliary
regression)的可决系数,
kkR XXXe ???? ????? 22110 ????? ?
如果约束是非线性的,辅助回归方程的估计比较复杂,
但仍可按( *)式计算 LM统计量的值。
最后,一般地有,LM?LR?W
同样地,如果为线性约束,LM服从一精确的 ?2分布:
(*)