第三章 双变量线性回归模型
(简单线性回归模型)
( Simple Linear Regression
Model)
第一节 双变量线性回归模型的估计
一, 双变量线性回归模型的概念
设 Y = 消费,X = 收入,我们根据数据画出散点图
Y * 这意味着
* Y = ? + ?X (1)
* 我们写出计量经济模型
* Y = ? + ?X + u (2)
* 其中 u = 扰动项或 误差项
Y为因变量或被解释变量
图 1 X X为自变量或解释变量
?和 ? 为未知参数
设我们有 Y和 X的 n对观测值数据,则根据 (2)式,
变量 Y的每个观测值应由下式决定:
Yi = ? + ?Xi + ui,i = 1,2,...,n (3)
(3)式称为 双变量线性回归模型 或 简单线性回归模
型 。其中 ?和 ? 为未知的总体参数,也 称为 回归模型
的 系数( coefficients)。 下标 i是 观测值的序号。
当数据为时间序列时,往往用 下标 t来表示 观测
值的序号,从而( 3)式变成
Yt = ? + ?Xt + ut,t = 1,2,...,n (3’)
为何要在模型中包括扰动项 u
我们在上一章中已初步介绍了为什么要在模型中包
括扰动项 u,下面进一步说明之:
( 1) 真正的关系是 Y = f (X1,X2,… ),但 X2,
X3,…,相对不重要, 用 u代表之 。
( 2) 两变量之间的关系可能不是严格线性的, u反
映了与直线的偏差 。
( 3) 经济行为是随机的, 我们能够用 Y=α+βX
解释, 典型, 的行为, 而用 u来表示个体偏差 。
( 4) 总会出现测量误差, 使得任何精确的关系不
可能存在 。
?X
?X
二, 普通最小二乘法 (OLS法,Ordinary Least squares)
1.双变量线性回归模型的统计假设
我们的模型是:
Yt = ? + ?Xt + ut,t = 1,2,...,n
这里 ?和 ? 为未知总体参数,下一步的任务是应
用统计学的方法,由 Y和 X的观测值(即样本数据)
来估计 ?和 ? 的总体值,常用的估计方法就是 最小二
乘法。为了应用最小二乘法,得到好的估计量,双
变量线性回归模型需要满足一些统计假设条件,这
些统计假设是:
双变量线性回归模型的统计假设
(1),E(ut) = 0,t= 1,2,...,n
即各期扰动项的均值 (期望值 )为 0.
(2),E(uiuj) = 0 i? j
即各期扰动项互不相关,
(3),E(ut2 ) = ?2,t= 1,2,...,n
即各期扰动项方差是一常数,
(4),解释变量 Xt 为非随机量
即 Xt的取值是确定的,而不是随机的,
(5),ut ~ N( 0,?2 ),t= 1,2,...,n
即各期扰动项服从正态分布。
下面简单讨论一下上述假设条件 。
( 1) E(ut) = 0,t=1,2,…,n
即各期扰动项的均值 ( 期望值 ) 均为 0。
均值为 0的假设反映了这样一个事实:扰动项被假
定为对因变量的那些不能列为模型主要部分的微小影
响 。 没有理由相信这样一些影响会以一种系统的方式
使因变量增加或减小 。 因此扰动项均值为 0的假设是
合理的 。
( 2) E(uiuj) = 0,i≠j
即各期扰动项互不相关 。 也就是假定它们之间无
自相关或无序列相关 。
实际上该假设等同于:
cov( uI,uj) = 0,i≠j
这是因为,cov(uI,uj) = E{[ui - E(ui)][uj - E(uj)]}
= E(uiuj) —— 根据假设 ( 1)
( 3) E(ut2)= ?2,t=1,2,…,n
即各期扰动项的方差是一常数, 也就是假定各
扰动项具有同方差性 。
实际上该假设等同于:
Var( ut) = 0,i≠j
这是因为:
Var(ut)=E{[ut-E(ut)]2}= E(ut2) —— 根据假设 ( 1))
( 4) Xt为非随机量
即 Xt的取值是确定的,而不是随机的 。
有的书上采用弱一些的条件:
E(Xtut) = 0,t=1,2,…,n
即解释变量 X与扰动项 u不相关 。
( 5) ut ~ N( 0,?2 ),t= 1,2,...,n
即扰动项服从正态分布 。
满足条件 ( 1) — ( 4) 的线性回归模型称为古典线
性回归模型 ( CLR模型 ) 。
2.最小二乘原理
我们的任务是,在给定 X和 Y的一组观测值
(X1,Y1),(X2,Y2),...,(Xn,Yn) 的情况下,
如何求出 Yt = ? + ?Xt + ut 中 ?和 ? 的估计值
和,使得拟合的直线为最佳。
直观上看,也就是要求在 X和 Y的散点图上穿过
各观测点画出一条“最佳”直线,如下图所示

?? ??
* *
* * *
et * *
* *
* * *
* *
* *
*
Y
XXt
图 2
Yt
tY?
XY ?? ??? ??
残差
拟合的直线 称为拟合的回归线,
对于任何数据点 (Xt,Yt),此直线将 Yt 的总值 分成两部分。
第一部分是 Yt的 拟合 值或预测值,
,t=1,2,……,n
第二部分,et,代表观测点对于回归线的误差,称为 拟合
或预测的 残差 ( residuals):
t=1,2,……,n
即 t=1,2,……,n
tY?
tt XY ?? ??? ??
ttt XYe ?? ?? ???
ttt YYe ???
XY ?? ??? ??
残差平方和
我们的目标是使拟合出来的直线在某种意
义上是最佳的,直观地看,也就是要求估计直
线尽可能地靠近各观测点,这意味着应使残差
总体上 尽可能地小。要做到这一点,就必须用
某种方法将每个点相应的残差加在一起,使其
达到最小。理想的测度是残差平方和,即
22 )?( ttt YYe? ? ??
15
最小二乘法
最小二乘法就是选择一条直线,使其残差平方和达
到最小值的方法。即选择 和,使得?? ??
?
? ?
???
???
2
22
)??(
)?(
tt
ttt
XY
YYeS
??
达到最小值。
运用微积分知识,使上式达到最小值的必要条件
为:

)2(0)
?
?)((2
?
)1(0)
?
?)(1(2
?
0
??
?????
?????
??
?
?
ttt
tt
XYX
S
XY
S
SS
??
??
?
??
??
?
??
?
??
?
整理,得:
此二式称为正规方程。解此二方程,得:
其中,样本均值
离差
)4(??
)3(??
2? ??
??
??
??
tttt
tt
XXYX
XnY
??
??
)6(??
)5(
)(
))((
?
22
XY
x
yx
XX
YYXX
t
tt
t
tt
??
?
??
?
?
??
?
?
?
?
?
YYyXXx
n
X
X
n
Y
Y
tttt
tt
????
??
??
,
,
( 5)式和( 6)式给出了 OLS法计算 和 的
公式,和 称为线性回归模型 Yt = ? + ?Xt + ut
的参数 ? 和 ? 的普通最小二乘估计量 (OLS
estimators)。
这两个公式可用于任意一组观测值数据,以求出
截距和斜率的 OLS估计值( estimates),估计值是
从一组具体观测值用公式计算出的数值。
一般说来,好的估计量所产生的估计值将相当接
近参数的真值,即好的估计值。可以证明,对于
CLR模型,普通最小二乘估计量正是这样一个好
估计量。
?? ??
????
3 例子
例 1 对于第一段中的消费函数,若根据数据得到:
n = 10,=23,=20X Y ( ),( ) ( )X X X X Y Y? ? ? ? ?? ?2 64 37
则有
?
( )( )
( )
.
? ?, ( ),
?,,
?
? ?
?
? ?
?
? ?
? ? ? ? ?
? ?
?
?
X X Y Y
X X
Y X
Y X
i i
i
i i
2
37
64
0 58
20 0 58 23 6 70
6 70 0 58
因而
例 2 设 Y和 X的 5期观测值如下表所示,试估计方程
Yt = ? + ?Xt + ut
序号 1 2 3 4 5
Yt 14 18 23 25 30
Xt 10 20 30 40 50
解:我们采用列表法计算。计算过程如下:
Σ
5
4
3
2
1
YYy tt ?? XXx tt ?? ttyx 2txtY tX
5030
4025
3023
2018
1014
225110 ???? nYY 3051 50 ???? nXX
8
3
1
-4
-8
160
30
0
40
160
39.01000390? 2 ????? t ttx yx? 3.103039.022?? ?????? XY ??
tt XY 39.03.10? ??
110 150
20
10
0
-10
-20
0 0 390 1000
400
100
0
100
400
估计方程为
? ? ? ? ??????? 0)( XnXnXXXXx ttt
第二节 最小二乘法估计量的性质
一, 和 的均值?? ??
?
?
?
?
?
?
?
? ?????
2222
)(?
t
t
t
tt
t
tt
t
tt
x
xY
x
Yx
x
YYx
x
yx?
?
?
?
? ????
22
)(?
t
ttt
t
tt
x
uXx
x
Yx ??
?
? ? ?? ??? )(1 2 ttttt
t
uxXxxx ??
)(1 2 ??? ?? tttt
t
uxXxx ?
)(1 22 ???? ??? tttt
t
uxxXxx ??
)(1 22 ??? ?? ttt
t
uxxx ?
?
?
?
? ????
22
)(?
t
ttt
t
tt
x
uXx
x
Yx ??
?

两边取期望值,有:
—— 假设 ( 4)
=β —— 假设 ( 1)
这表明, 是 β的无偏估计量 。
在证明 无偏性的过程中,我们仅用到 (1)和 (4)两
条假设条件 。
?
???
2
)(
)?(
t
tt
x
uEx
E ??
??
??
?
???
2
?
t
tt
x
ux
??
由, 我们有:XY ?? ?? ??
)?()?( XYEE ?? ??
)?( XuXE ??? ????
)?()( ??? EXuEX ????
??? XX ???
??
??
?即 是 的无偏估计量。
二, 和 的方差
Var( )=E{[ - E( )]2} —— 根据定义
=E( -β)2 —— 由无偏性 E( )=β
?? ??
由上段结果:
?
?
??
2
?
t
tt
x
ux
??

?
?
??
2
?
t
tt
x
ux
??
?? ?? ??
?? ??
2
2
2 )()?(
?
???
t
tt
x
ux
??
2
221122 )...()(
1
nn
t
uxuxuxx ???? ?
)2()( 1 2222 ???
?
??
ji
jijiii
t
uuxxuxx
两边取期望值, 得:
])(2)([)( 1)?( 22222 ???
?
???
ji
jijiii
t
uuExxuExxE ??
由于E(
2
t
u)=
2
?,t=1,2,?,n ——根据假设(3)
E(
i
u
j
u)=0,i≠j ——根据假设(2)

?
?
?
? ? ? ?
2
2
2 2
2 2
2
) 0 (
) (
1
)
?
(
t
i
t
x
x
x
E
?
? ? ?

?
?
2
2
)
?
(
t
x
Var
?
?
与此类似,可得出:
?
?
?
2
2 2
) ? (
t
t
x n
X
Var
?
?
?
? ?
2
2
)
?
,? (
t
x
X
Cov
?
? ?
三, 高斯 --马尔柯夫定理 ( Gauss--Markov Theorem)
对于满足统计假设条件 (1)--(4)的线性回归模型
Yt = ? + ?Xt + ut,,普通最小二乘估计量 (
OLS估计量 ) 是最佳线性无偏估计量( BLUE,
The Best Linear Unbiased Estimator)。

对于古典线性回归模型( CLR模型)
Yt=α+β+Xt,普通最小二乘估计量( OLS估计
量)是最佳线性无偏估计量( BLUE)。
我们已在前面证明了无偏性,此外,由于:
—— 由上段结果,
=
其中
这表明, 是诸样本观测值 Yt( t=1,2,…,n) 的线性函数, 故
是线性估计量 。
剩下的就是最佳性了, 即 的方差小于等于 β的其他任何线性
无偏估计量的方差, 我们可以证明这一点, 但由于时间关系,
从略 。 有兴趣的同学请参见教科书 P46-47。
? ttYk
?? 2t
t
t x
xk
?
??
2
?
t
tt
x
Yx
?
?? ??
??
四, 和 的分布
我们在前面列出的假设条件 ( 5) 表明,
ut ~ N( 0,?2 ),t= 1,2,...,n
即各期扰动项服从均值为 0,方差为 ?2的正态分布 。
考虑到假设条件 ( 4), 即 Xt为非随机量, 则由前面结果:
=
其中,
?? ttuk?
?
? 2
t
t
t x
xk
?? ??
?
???
2
?
t
tt
x
ux
??
这表明, 是 N个正态分布变量 u1,u2,…,un的线性
函数, 因而亦为正态分布变量, 即

类似的有:

),( 2
2
? txN
??
),( 2
22
?
?
t
t
xn
X
N
?
?
??
??
??
第三节 拟合优度的测度
一, 拟合优度 (Goodness of fit)的概念
用最小二乘法得到的回归直线 至少
从残差平方和为最小这一意义上来说是所有可能直线
中最佳的拟合线 。 它是对 Y和 X之间关系的一种描述,
但该直线是不是 Y和 X之间关系的一种恰当的描述呢?
如果各观测点紧密地聚集在这条直线的周围, 则表明
该直线对 Y和 X之间关系的描述是好的;否则, 用直
线来描述这两个变量之间的关系就未必恰当, 如下图
所示:
tt XY ?? ??? ??
( a) 恰当描述 ( b) 不恰当描述
图 2-3
应该指出, 对于任意两个变量的一组观测值,
我们总是可以运用最小二乘法得到一条直线, 问题
是该直线能否较好地拟合所给定的观测值, 这就是
拟合优度问题 。 拟合优度是两变量之间关系强度的
测度 。 在这里, 指的是两变量间线性关系强度的测
度 。
如果所有观测值都落在回归直线上, 则称为
,完全拟合,, 这种情况是罕见的 。 在一般情况下,
总会出现正负残差 ( et), 通过对这些残差的分析,
有助于衡量回归直线拟合样本数据点的程度 。
二,Y的变差(离差)的组成
让我们来考察一下 Y的变差的组成情况。我们
有 Y的 N个观测值,Y的总变差的一个测度是
,Y的变差( )中有一部分是可
以由 X的取值变动所解释的。还有一部分是不能
由 X所解释的变差,如下图所示:
? ? 2)( YYt YYt ?
对于第 t个观测值, 有:
=
对于全部 N项观测值平方求和, 有:
( 7)
由于
?
)?()?( tttt YYYYYY ?????
tt eYY ?? )?(
? ? ? ? ?????? ttttt eYYeYYYY )?(2)?()( 222
tt XY ?? ??? ??
XY ?? ?? ??
)(?? XXYY tt ??? ?
39
( 7)式中最后一项变为:
由 (1)式,(2)式(书 P41 3.8 和 3.9式)和残差的定义,显然有:

因此,( 7)式中最后一项为 0,我们得到如下结果:
( 8)
即 总变差 = 由 X解释的变差 + 未解释变差
? ??? )(?2 ttt eXeX?
0? ?te 0?? tteX
? ? ????? 222 )?()( ttt eYYYY
tttt eXXeYY )?(?2)?(2 ??? ?? ?
三, 拟合优度的测度
1,决定系数
不难看出, 总变差中由 X解释的变差比例越大, 则
就越小, 各观测值聚集在回归直线周围的紧密程度就越大,
说明直线与观测值的拟合越好 。 我们将 ( 8) 式两端都除以
总变差, 得:
并定义决定系数 为:
= = =
? 2te
? ? 2)( YYt
1)(
)(
)?(
2
2
2
2
???
?
?
?
?
?
?
YY
e
YY
YY
t
t
t
t
2R
总变差
解释变差2R
2
2
)(
)?(
?
?
?
?
YY
YY
t
t
2
2
)(1 YY
e
t
t
?
?
??
2R
用符号表示为:
其中, ESS—— Explained Sum of Squares
RSS—— Residual Sum of Squares
TSS—— Total Sum of Squares
决定系数 R2 计量了 Y的总变差中可以归因于 X和
Y之间关系的比例, 或者说 Y的变动中可以由 X的变
动来解释的比例 。 它是回归线对各观测点拟合紧密程
度的测度 。
2R =
TS S
E S S =
TS S
R S S?1
我们有:
R2 =1:完全拟合,
R2 =0,X与 Y完全不存在线性关系, =
R2的值越高, 拟合得越好 。 但什么是高? 回归中使用时
间序列数据 还是横截面数据有不同的标准 。 对时间序列数据
来说, R2 的值在 0.8,0.9 以上是很常见的事,而在横截面数
据的情况下, 0.4,0.5的 R2 值也不能算低 。
10 2 ?? R
? ? 02te
? 2te ? ? 2)( YY t
2,相关系数 r
由 R2 很容易联想到我们在统计中学过的相关系数 。 相关
系数 r与决定系数的关系为,R2 =( r2), 相关系数的计算公
式为:
相关系数 r也是拟合优度的测度, 其符号取决于
的符号 ( 即 的符号 )
我们有:
-1 ≤ r ≤ 1
r = 1:完全正相关
r = -1:完全负相关
r = 0,无线性关系
??
??
22
tt
tt
yx
yx
r
? tt yx
??
相关系数和决定系数的计算很简单, 事实上, 我们只要在原
列表计算 的表格中加上一个计算 的栏目就行了 。 对于
我们前面的例子, 列表计算得,= 154,因此:
r =
R2 =( 0.9938) 2 = 0.9876
它表明, 在我们的例子中, X与 Y存在着很强的线性关系,
拟合甚佳, 但由于观测点很少 ( 5个 ), 因而对此结论应持谨
慎态度 。
2ty
? 2ty
9 9 3 8.01 5 41 0 0 03 9 0 ?
第四节 双变量回归中的区间估计和假设检验
一, β的置信区间
我们在上一节中已得出, 在 5条假设条件成立的情况
下, 有

与 估 计 量 相 联 系 的 概 率 分 布 的 标 准 差 (standard
deviation),通常称为标准误差 (standard error),用 Se
或 SE表示 。
的标准误差为,Se( ) =
),( 2
2
? txN
??
? 2tx
?
??
????
46
如果 σ为已知, 则我们可以立即给出总体参数 β的
95%的置信区间为:
± 1.96 或 ± 1.96 Se( )
但实际上, 我们一般无法知道扰动项分布的方差 ?2,
而必须根据样本数据估计出 ?2, 然后再来考虑 β的置
信区间的计算问题 。
?????? ? 2
tx
?
1,?2的估计
我们可以用残差来估计扰动项 ut的方差 ?2,
可以证明, 是 ?2的无偏估计量,
上式中的, 我们可以直接从残差的定义式
计算得到, 也可以通过下面的公式求出:
2?
2
2
??
?
n
e t?
2??
ttt XYe ?? ?? ???
? ?? ?? tttt yxye ??22
? 2te
推导如下:
由 e
t
的定义及 ?? 的计算公式,有:
XY
eXY
ttt
??
??
?
?
?
?
??
???
因而
tt
ttt
ttt
xy
XXYYe
eXXYY
???
????
????
?
?
?
?
)(
?
)(
)(
?
???
???
??
???
???
??
)2?(?
??2
)?(
22
222
22
tttt
tttt
ttt
yxxy
xyxy
xye
??
??
?
将 代入栝号中, 得:
因此我们有:
?
??
2
?
t
tt
x
yx?
ttt
ttt
t
tt
tt
yxy
yxx
x
yx
ye
??
??
?
?
? ?
??
????
?
?
?
)2(?
2
2
2
22
2
?
?
2
2
?
?? ? ?
n
yxy ttt ??
2,β的置信区间
我们重新定义 的标准误差为,Se( ) =
则检验统计量 t = = ∽ t(n-2)
故 β的置信区间为:

?? ? 2
?
tx
?
??
)?(
)?(?
?
??
Se
E?
?
?
2/?
?
tx?
??
)?(? 2/ ?? ? Set?
?? 22/ /?? txt ?? ?
即为 0.10至 1.06。也就是说,我们有 95%的把握说 β在 0.10
至 1.06之间。
例 设回归方程为:
tt
XY 58.070.6
?
??
且 ?
2
x = 64, ? xy = 37, ?
2
y = 44, n= 10
求 β 的 95% 置信区间
解:
2
?
2
2
?
?
?
n
e
t
? =
2
?
2
?
?? ?
n
yxy
ttt
?
=
210
37*58.044
?
?
= 2,82
S e ( ?
?
)=
?
2
?
t
x
?
=
64
82.2
= 0,21
β 的 95% 置信区间为:
)
?
()8(
?
025.0
?? Set? = 0,58 ± 2,306* 0, 21
二, 假设检验
1,假设检验的方法
有了上一段的重要结果
t = ∽ t(n-2)
我们进行有关总体参数 β的假设检验就很容易了 。
假设检验的步骤:
( 1) 建立关于总体的原假设和备择假设 ;
( 2) 计算检验统计量, 检验原假设 ( 是否出现小概率事件 );
( 3) 得出关于原假设是否合理的结论,
)?(
)?(?
?
??
Se
E?
例 1:仍用上一段例中的数据, 我们要检验的是:
原假设,H0,β=0.8
备择假设,H1,β< 0.8
这是一个单侧检验的问题 。
我们有:
t = = = - 1.05
用 ?=n-2=10-2=8查 t表, 截断左侧 5%面积的 t 临界值
tc = -1.86
∵ t = -1.05 ? -1.86
故接受原假设 H0,即 β=0.8
21.0
8.058.0 ?
)?(
?
?
??
Se
?
图 2.5
2,系数的显著性检验
在假设检验中, 有关 β是否为 0 的假设检验特别
重要 。 如果通过检验, 接受 β=0的原假设, 则表明 X
和 Y没有关系, 即 X对 Y的变动没有影响 。 在这种情
况下, 就应从模型中剔除 X,寻找其他解释变量 。
这类检验称为 系数的显著性检验 。
例 2,仍用上例数据进行 β的显著性检验 。
原假设,H0,β=0
备择假设,H1,β≠0
t =
)
?
(
?
?
??
Se
?
=
)?(
?
?
?
Se
=
21.0
58.0
= 2,76
查 t 表,
c
t = )8(
025.0
t = 2,30 6
∵ t = 2, 76 >
c
t = 2,30 6
故拒绝原假设 H
0

结论,β 显著异于 0, X 对 Y 有影响。
图 2-6
三, 回归结果的提供和分析
我们已得到原假设 H0:β=0的 t值,t= = =2.76
同样可得出原假设 H0::α=0的 t值,t= = =1.38
1,回归结果的提供
提供回归分析结果一般有两种方式:
( 1) = 6.70 + 0.58X R2 =0.49
( 1.38) ( 2.76)
这里 6.70和 0.58分别为 α和 β的估计值 和 。
括号中数字是 H0,α=0和 H0,β=0 为真时的 t 值 。
21.0
58.0
86.4
70.6
)?(
?
?
?
Se
)?(
?
?
?
Se
?? ??
Y?
( 2) = 6.70 + 0.58X R2 =0.49
( 4.86)( 0.21)
括号中提供的是 和 的标准误差 。
由于存在这两种格式, 使得回归结果的读者难以
判断出括号中数字究竟是 t 值还是标准误差 。 因此, 要
求在提供回归结果时, 应予以说明 。 通常的作法有两
种 。 一种是文字说明, 另一种是用符号标示 。
?? ??
Y?
60
2,回归结果的分析
结果的分析主要包括以下内容:
( 1) 系数的说明 。 首先是说明系数的符号和大小是否
正确, 是否符合经济理论和常识 。 其次是说明系数的
含义, 本例中斜率系数为 0.58,表明 X增加一个单位,
Y增加 0.58个单位 ( 如收入 X增加 1元, 消费 Y增加 0.58
元 ) 。 截距项有时有经济意义, 大多数情况下无, 因
此通常无需说明 。
( 2) 拟合情况 。 如本例中 R2不高, 作为时间序列数
据, 拟合不理想 。
( 3) 系数的显著性 。 本例中斜率系数的 t值为 2.76,表
明该系数显著异于 0,X对 Y有影响 。
( 4) 是否存在扰动项的自相关 。
第五节 预测
一, 预测的概念
预测通常指利用现有信息预测未来 。 在这里, 预
测指的是对自变量的某一具体值 X0, 来预测与它相
对应的因变量值 Y0 。 它既可以指对未来某个时期因
变量值的预测, 也可以是对未包括在横截面样本之
中的某个实体数值的预测 。
通常情况下, 我们要预测的是与样本观测值范围
之外的 X值对应的 Y值, 如观测值为 1985-2000年, 预
测 2001,2002年的居民消费 。 但 X0也可以在样本 X值
的范围内 。
二, 预测的隐含假设
要进行预测, 有一个假设前提应当满足 。 即对于
样本观测值数据成立的 X和 Y之间的关系对于新的
观测值也成立 。 即若双变量模型的原设定是:
Yt = α+βXt+ ut, t=1,2,…,n
则要使此模型可以用来作为预测的依据, 还应
有:
Y0 = α+βX0+ u0 也成立 。
三, 预测的误差
我们可以得到两种类型的预测值,点预测值和区间预测
值 。 在实践中, 如果没有某种精度指标的话, 点预测值是没
有多大用处的 。 所以, 我们必须提供点预测值的预测误差 。
点预测值由与 X0对应的回归值给出, 即
而预测期的实际 Y值由下式给出:
其中 u0 是从预测期的扰动项分布中所取的值 。
00 ??? XY ?? ??
000 uXY ??? ??
预测误差的来源
由此不难看出,预测误差产生于两个来源:
(1) 模型中包含扰动项, 点预测值是假定预测期扰
动项 u0 为 0,而实际上一般不为 0。
(2) 点预测值公式中用的是 ?和 ?的估计值 和,
样本估计值 和 一般不等于总体参数
?和 ?。
??
??
??
??
预测误差可定义为:
两边取期望值, 得
因此, OLS 预测量 是一个无偏预测量 。
000 ?YYe ??
00 )?()?( Xu ???? ?????
)?()?()()( 000 ???? ????? EXEuEeE
)()(0 0 ???? ????? X
00 ??? XY ?? ??
0?
预测误差的方差为:
其它两项协方差等于 0。 这是因为 u0独立于 u1,u2, … un,
而 和 均为 u1,u2, … un 的线性函数,
因此它们与 u0的协方差均为 0。
将我们在前面得到的 和 的方差及协方差代入上
式, 得:
)?( ?? ? )?( ?? ?
)?,?(2)?()?()()( 02000 ???? C o vXV a rXV a ruV a reV a r ????
????
???
? ????
2
2
0
2
22
0
2
22
2
0
2)(
x
XX
x
X
xn
X
eV a r ??
?
?
??? ????? 2
2
0
2
22
0
2
222
2 2
x
XX
x
X
x
X
n
?????
]211[ 202
2
0
2
2
2
??? ????? x
XX
x
X
x
X
n?
])(11[ 2
2
02
?
????
x
XX
n?
???
? ??????
2
2
0
2
22
0
2
222
2 2])([
x
XX
x
X
xn
XnXX ????
? ? ??? 222)( XnXXX注:第一个等号用到
四, Y0的置信区间
从 e 0 的定义
可看出, e 0为正态变量的线性函数, 因此, 它本身也服从正
态分布 。 故
~ N( 0,1)
由于 ?是未知的, 我们用其估计值
代替它, 有
?
?
??
?
?
2
2
0
0
0
00
)(1
1
)(
)(
x
XX
n
e
eSe
eEe
?
)2(?
2
??
?
n
e?
000 )?()?( Xue ???? ?????
?
?
??
?
2
2
0
00
)(1
1?
?
x
XX
n
YY
?
~ t ( n - 2 )

0
Y 的 95% 置信区间为,
?
?
??????
2
2
0
025.00
)(1
1?)2()
?
?(
x
XX
n
ntX ???
(其中,
00
?
)
?
?( YX ?? ?? )
这一置信区间的宽度从样本均值 X 处向两边对称地增加,如下图所示,
?
?
??
? 2
2
0
0
)(1
1?
x
XX
n
e
?
0 X0 X
?
???
2
2
0
2
)(11?
x
XX
nt ??
nt
11?
2
???
X
Y
五、例子
例 1,设根据样本估计的回归直线为:
XY 75.11
? ??
且 ? ???? 40,5.0?,4,5
22
xXn ?,
求 10
0
?X 时 Y 的预测值
0
?Y

0
Y 的 95% 置信区间。
解:对于 10
0
?X
点预测值
0
?
Y = 1+ 1,75 ? 10= 18,5
0
Y 的 95% 置信区间为:
?
?
?????
2
2
0
025.00
)(1
1?)3(
?
?
x
XX
n
tX ???
=
40
)410(
5
1
15.0182.3)10(75.11
2
?
??????
26.35.18 ??
即 15.24至 21.76,也就是说,我们有 95%的把握预测 Y0
将位于 15.24至 21.76之间。
例 2.

现有一对新观测值, 试问它们是否可
能来自产生样本数据的同一总体?
解,问题可化为, 预测误差是否显著地大?,
当 时,
预测误差
? ???? 64,23,10,82.2? 22 xXn?
27,28 00 ?? YX
XY 58.070.6? ??
280 ?X
94.222858.070.6?0 ????Y
06.494.2227?000 ????? YYe
原假设 H0:
备择假设 H1:
检验:
若 H0为真, 则
对于 n-2=8个自由度, 查表得 5%显著性水平检验的 t临界值为:

98.1
05.2
06.4
64
)2328(
10
1
182.2
006.4
)(1
1?
)(
2
2
2
0
00 ??
?
??
?
?
?
??
?
?
? x
XX
n
eEe
t
?
0)( 0 ?eE
0)( 0 ?eE
306.2?ct
306.2)8(025.0 ?t
结论:
由于
故接受原假设, 即新观测值与样本观测值来自同一总体 。
上例的意义在于, 我们可以通过从估计模型用的一组观
测值中剔除最近期的一两对观测值, 用它们来检验模型的预
测功效 。 如果我们在上述检验中拒绝了原假设, 则不管是什
么原因, 我们都要认真对待, 回过头来检查模型的设定是否
正确 。
例 3 书 P61例 3.7
3 0 6.298.1 ??t
第六节 有关最小二乘法的进一步讨论
一, 有关应用最小二乘法的前提的进一步讨论
运用普通最小二乘法, 我们得到双变量线性模型系数 α和 β
的最小二乘估计量 和 。
我们已经证明在一定的假设条件下, 它们是最佳线性无偏
估计量 ( BLUE) 。 这样一种估计量, 是我们从样本数据 ( 观
测值 ) 推断总体 ( 参数 ) 所能得到的最佳结果 。 换句话说,
我们不能得到比最小二乘估计量更理想的估计量了 。
可是, 不应忘记, 我们得到这一理想的结果是有条件的,
我们在导出最小二乘估计量之前所规定的五个假设条件是:
????
( 1) E(ut) = 0,t=1,2,…,n
即各期扰动项的均值 ( 期望值 ) 均为 0。
( 2) E(uiuj) = 0,i≠j
即各期扰动项互不相关 。
( 3) E(ut2)=,t=1,2,…,n
即各期扰动项的方差是一常数 。
( 4) 为非随机量, t=1,2,…,n
( 5) ut ~ N (0,),t=1,2,…,n
即各期扰动项服从正态分布 。
tX
2?
我们现在需要考虑的是, 如果假设条件中的某些
条件不成立, 会有什么情况? 在比较弱的情况下,
估计量的上述统计性质能否成立? 如果不成立, 能
否得到一些比较弱的统计性质?
这些问题, 如出现异方差性 ( 第 ( 3) 个条件不
成立 ) 和自相关 ( 第 ( 2) 个条件不成立 ) 的情形,
我们将在后面的教学内容中予以讨论 。
我们这里提出这样一些问题, 目的是使读者对普
通最小二乘法的应用前提有一个比较清楚的认识 。
如果某些假设条件不能满足,我们就要考虑采用
其它估计方法,尽管我们因此而得不到一个具备
OLS估计量那么理想的统计性质的估计量,我们也
只能是不得已求其次,满足于一个统计性质稍弱一
些的估计量。
这种代价是必须接受的,因为无论如何,这种代
价比起硬套普通最小二乘法而得到一个统计性质很
差的估计量来说,要小得多。
二, 渐近性质
我们下面简单讨论一下第 (4)条假设, 即 Xt为非随机量的假
设不成立的情况, 以加深读者对我们上面所讨论原则的印象 。
第 (4)条假设是一个比较强的假设, 它表明解释变量的观测
值 Xt是非随机的, 因而与各期扰动项无关 。 由此, 我们证明
了最小二乘估计量的无偏性, 我们也不难证明最小二乘估计
量的一致性 。
由统计学得知, 一致性 ( 即估计量 是一致估计量 ) 的充分
条件是:
??
0)?(lim
)?(lim
?
?
??
??
?
??
V ar
E
n
n
对于 OLS估计量, 我们有 对于任何 n成立, 并且
当 n趋向无穷时, 有
因此, 的一致估计量, 即
也就是说, 如果满足第 (4)条假设, 即 Xt为非随机的, 则 OLS
估计量既是无偏的, 又是一致的 。
?? ?)?(E
0)?(
)(
2
2
2
11
2
???
????
?
??
??
t
n
t
t
n
t
t
x
V ar
XXx
?
?
??是?
?? ??? ?limnP
当假设条件 (4)有所减弱时情况会怎样呢? 可以证明:
( 1) 即使解释变量是随机的, 只要 每一个 Xt都独立
于 所有的 扰动项 ut (t=1,2,…,n),则我们在证明无偏性
时所用的式子
,t=1,2,…,n
中的权数 kt将独立于相应的扰动项 ut,因而无偏性和
一致性仍将成立 。
( 2) 如果再减弱一点, 我们只有 Xt独立于 相应的 扰
动项 ut( 即解释变量与扰动项同期无关 ), 则无偏性
不再成立, 但一致性仍将成立 。
tt
t
tt uk
x
ux ?
?
? ???? ???
2
?
因此, 根据具体情况, 我们有时不得不满足于所
得到的模型参数的估计量仅仅是一致估计量这一差
强人意的结果 。 在后面介绍分布滞后模型和联立方
程模型时, 我们将作进一步讨论 。
此外, 假如仅仅是第 (5)条假设, 即 ut服从正态分
布的假设不成立, 则我们虽然仍可证明 OLS估计量
为 BLUE,但不可能再证明 OLS估计量服从正态分布 。
在这种情况下, 我们只有转而求助于渐近正态性,
即只要观测值的数目足够多, 我们仍可假定 OLS估
计量近似地服从正态分布 。
第三章 小结
本章主要结果:
一, 最小二乘法
若双变量线性模型
Yt= α+βXt+ ut
满足下列统计假设
( 1) E( ut) =0 …………… 扰动项均值为 0
( 2) E( uiuj) =0,i? j…… 扰动项相互独立
( 3) E( ut2) =σ2 ………… 常数方差
( 4) X是非随机的
( 5) ut服从正态分布
则最小二乘估计量
?
?
?
2
?
t
tt
x
yx
? XY ?? ???
为最佳线性无偏估计量 ( B L U E )。且
?
?
~ N ( β,
?
2
2
t
x
?

?? ~ N ( α,
?
?
2
22
t
t
xn
X?

二, 拟合优度
决定系数 R2 = 1 -
和相关系数 r=
为最小二乘回归线拟合优度的测度, 即回归线对各观测点拟
合紧密程度的测度, 且 R2=( r) 2。
?
?
?
?
?
??
? 2
2
2
2
)(
)?(
)( YY
YY
YY
e
t
t
t
t
? ?
?
22
tt
tt
yx
yx
三、区间估计和假设检验
σ
2
的无偏估计量
2
?
2
?
22
2
?
?
?
?
?
? ??
n
yxy
n
e
tttt
?
?
?
?
的标准误差为
?
?
2
?
)
?
(
t
x
Se
?
?
我们有 t =
?
?
?
?
2
/?
?
)
?
(
?
t
xSe ?
??
?
??
~ t ( n - 2 )
β 的置信区间为,??
2
2/
/?
?
t
xt ??
?
四, 预测
假设我们有一组样本观测值 Xt和 Yt,我们用最小二乘法对双
变量模型的参数进行了估计 。 现要对自变量的一具体值 X0来预
测与 X0相应的因变量值 Y0。 若原模型设定
Yt=α+βXt+ ut
对预测期也成立, 即
Y0=α+βX0+u0
则因变量的点预测值为:
0
?Y = ?? + ?? X
0
预测误差
0e =Y 0 - 0
?Y
其方差为
我们有
~ t( n-2)
Y0的 95%的置信区间为
??
?
?
?
??
?
?
? ?
??? ? 2
2
02
0
)(11)(
tx
XX
n
eV a r ?
?
?
??
?
2
2
0
00
)(1
1?
?
tx
XX
n
YY
?
?
?????
2
2
0
025.00
)(11???
tx
XX
n
tX ???
第三章 习题
1,设有 10个工人的数据如下:
X 10 7 10 5 8 8 6 7 9 10
Y 11 10 12 6 10 7 9 10 11 10
其中 X=劳动工时, Y=产量
1) 试估计 Y=α+βX + u
2) 提供回归分析结果 ( 按标准格式 ) 并适当说明
3) 检验原假设 β=1.0
2,用 12对观测值估计出的消费函数为 Y=10.0+0.90X,且已知
=0.01,=200,=4000,试预测当 X=250时 Y的值,
并求 Y的 95%置信区间 。
2 ?? ? ?2x
3,请对下列说法进行判断, 答案为下列二者之一:对, 错 。
( 1) 若线性回归模型满足假设条件 ( 1) -( 4), 但扰动项
不服从正态分布, 则尽管 OLS估计量不再是 BLUE,但仍为无
偏估计量 。
( 2) 最小二乘斜率系数的假设检验所依据的是 t分布, 要求
β的抽样分布是正态分布 。