1
第五章 古典线性回归模型
2
问题的提出
? 数据背后存在着某种规律性
? 最小二乘保证了 3条性质 ——残差和 =0,残差与自变量
无关、残差与拟合值无关
? 关于数据生成过程的初步假定 ——数据生成过程 =确定
性部分 +非确定性部分
? 样本一般说来总会反映一些总体的性质,于是对非确
定性部分 ——随机扰动项 ——作出类似于最小二乘残
差的假设
? ?? ? ? ?? ?
?
??
?
?
????
???????
????
?
k
j
ij
ji
iii
iiijij
iiiij
i
xbyuyy
uyuxx
uyux
u
a
uyu
uyux
Co vCo v
iiiij
1
,,
???
???
???
?
?
0??
???
0),(),(
0
??
3
数据背后存在着某种规律性
? 现实世界中本身存在着经济规律,正是
这些经济规律的作用,通过现实经济生
活又显现出一些复杂现象来。这些现象
既有某种确定性(规律性的一面),有
具有某种不确定性(随机性的一面)。
? 计量经济学研究假定现实数据中存在某
种规律性 ——数据背后存在一个数据产
生的过程,即经济现象后面存在规律性。
? 挖掘数据后面的规律乃是计量经济学的
己任。
4
最小二乘保证了 4条性质
? 1、残差和 =0
? 2、残差与自变量不相关
? 3、残差与因变量拟合值不相关
? 4、因变量实际值与拟合值的均值相等
? 即,? ?
? ?
? ??
?
???
?
?
?
uyy
uy
ux
u
iii
ii
ii
i
yy
C O V
C O V
??
??
?
?
?.4
0,.3
0,.2
0.1
5
解决问题的思路
? 数据生成过程 =确定性部分 +非确定性部

? 关于数据生成过程的初步假定 ——提出
线性模型
? 从总体与样本的关系看残差与随机扰动
项的关系
? 对非确定性部分 ——随机扰动项 ——作
出 6项假设
6
关于数据生成过程的初步假定
? 虽然数据并不一定满足最小二乘估计直
线这些性质,但仍可依据对现实的抽象,
假定背后有一个数据生成的过程
? yi=a+b1xi1+b2xi2+b3xi3+??????+ bkxik+ui
? (i=1,2,?????,n)
? 仅仅是一个初步假定(假定:数据生成
过程 =确定性部分 +非确定性部分),还
须进一步对 ui作出假定
7
从总体与样本的关系看残差与随机扰动项
? 最小二乘估计直线有4条性质。性质中
的残差是一个样本的残差。
? 从总体与样本的关系看,数据是总体的
一个子集,自然 u^i也是 ui的一个子集,
而 ui是总体的随机扰动项。
? 样本一般说来总会反映一些总体的性质,
于是对随机扰动项作出类似最小二乘估
计残差的假设。
? 从而完成了数据生成过程的假设。
8
第一节 有关随机扰动项 ui的古典模型假设
? 随机扰动项 ui是一个有关总体属性的随机变量,
下面对 ui的分布,依据最小二乘估计得到的残
差(样本)的性质作出类似的假设:
– 假设1 随机扰动项 ui垂直波动
– 假设2 残差分布均值为零
– 假设3 随机扰动项方差一定
– 假设4 随机扰动项(误差)相互独立
– 假设5 所有 xi都是可观察的并且独立于 ui
– 假设6 数据产生过程是线性的
9
假设1 随机扰动项 ui垂直波动
( Vertical Error Jumps)
? 样本数据点只沿着 yi的方向在真实直线附
近垂直跳动,即这种波动围绕真实直线上
下波动。对于每一个 xi,yi总是垂直变动,
没有横向偏移。这也就是说观察到的 xi是
准确无误的,实际中的 xi没有丝毫偏差,
而对应于 xi的 yi却存在垂直的偏差。
? 误差变量模型 ——xi存在随机偏差
( Errorsin Variable Model)(第十五章中讨
论 )
10
古典线性模型中只有因变量存在垂直波动
Y
X
A
B
x1 x2 x3 x4 x5 x6
11
Y
X
A
B
x1 x2 x3 x4 x5 x6
变量误差模型 ——自变量也存在随机变动
a+bxi
yi=a+b(xi+?i)+ui
12
假设2 残差分布均值为零
( Zero Mean Error Displacement)
? E(ui)=0 (i=1,2,….,n)
? 必须注意:样本残差的数学期望 E(u^i)=0,
是最小二乘保证了的,只要使用最小二乘法,
就一定会有样本的残差均值为零。
? 而 E(ui)=0则是一个假设,假设总体残差
(随机扰动项) ui的数学期望为零
? 即总体随机扰动项对回归估计没有影响。或
者消除了随机变动,规律性就呈现出来了。
13
假设3 随机扰动项方差一定
( Constant Error Variance)
? Var(ui)=?2 (i=1,2,……,n)
? 表明对所有的 ui,变动的方差是相同的,
称为同方差。
? 否则,Var(ui)=?2i (i=1,2,……,n)
? Var(ui)=[ui-E(ui)]2=?2i
? (i=1,2,……,n)
? ?2i是一个变量(随 I而变)。这种情形称
为异方差。(在第十章中讨论)
14
同方差
x1 x2
X
u
Y
随着 x变化随机扰动项 u的方差不变
a + b x
15
异方差
x1 x2
X
u 随着 x增加随机扰
动项方差增大Y
16
假设4随机扰动项(误差)相互独立
( Error Independent)
? ui与 uj不相关,也就是说,对所有的 i<>j,有
E(ui,uj)=0
? 由假设 2,E(ui)=0,E(uj)=0,因此,
COV(ui,uj)=E[ui-E(ui)][uj-E(uj)]=E(ui,uj)
? 由假设 4,COV(ui,uj) =E(ui,uj)=0
? 自然有 ui与 uj不相关( i< >j),且有
? E(ui,ui+1)= E(ui-1,ui)=0
? 如果 E(ui,uj) < > 0,称为随机扰动项(误差)
自相关( Autocorrelation)。(在第十一章
中讨论)
17
假设5 所有 xi都是可观察的
并且独立于 ui
? 即对所有 i,j来说 COV(xi,uj)=0
? ( The x’ are revealed and
independent of ui)
? 对所有的 i,j来说,COV(xi,uj)=0
? 这保证了 ui的取值与 xj的取值没有任何
关系,同时 xi与其它 xj也没有关系。现
实经济活动中这条假设是否满足要大打
折扣。例如下述的消费与 GNP的关系。
? 否则容易造成多重共线,造成危害。
(已经作了部分讨论)
18
消费与 GNP的关系
? Ci = a+bGNPi+ui ( 1)
? GNPi = Ci+Ii+Gi ( 2)
? 其中 Ci为消费,Ii为投资,Gi为政府支
出,GNPi为国民生产总值,ui为随机扰
动项。
? ui的变化必然引起 Ci变化,从而引起
GNPi发生变化。即 ui与 GNPi相关。
? 这是一个联立方程模型。 Gi和 Ii为外生
变量,将( 1)代入( 2)可用回归方法
解决
19
假设6 数据产生过程是线性的
( Linearity of the Model)
? yi=a+b1xi1+b2xi2+b3xi3+??????+ bkxik+ui
? (i=1,2,?????,n)
? 因变量 yi=自变量的线性组合再加上一个随机
扰动项。自然,因变量 yi也是一个随机变量,
于是必须对 yi的分布做一番讨论。
? 而 a,b等回归估计系数乃是由 yi和 xij估计出来
的,自然也需对它们的性质作进一步的讨论。
关于它们性质的讨论十分有用,影响到估计得
到规律(回归方程)的检验 ——可靠性。
? 如果是非线性就不能采用最小二乘法。
20
第二节 古典假设的一些内涵
? 一,yi的分布
? 二、高斯-马尔科夫定理:最小二乘估
计量的样本分布
? 三、一元模型参数估计量的性质
? 四、二元模型参数估计量的性质
21
问题的提出
? 因变量 yi=自变量的线性组合再加上一个
随机扰动项,自然因变量 yi也是一个随
机变量,于是必须对 yi的分布做一番讨
论。
? 而 a,b等回归估计系数乃是由 yi和 xij估
计出来的(可以证明它们是 yi的线性组
合),自然也需对它们的性质作进一步
的讨论。关于它们性质的讨论十分有用,
影响到估计得到规律(回归方程)的检
验 ——可靠性和预测。
22
解决问题的思路
? 根据古典模型的假设,推断出因变量的
性质
? 在通过高斯 -马尔科夫定理精确地讨论最
小二乘估计量的性质
23
关于随机扰动项的 6项假定
假设1 随机扰动项 ui垂直波动
?自变量 X是确定性变量
假设2 残差分布均值为零
??ui=0
假设3 随机扰动项方差一定
?Var(ui)=?2
假设4 随机扰动项(误差)相互独立
?E(ui,uj)=0??uiuj=0 (i<>j)
假设5 所有 xi都是可观察的并且独立于 ui
?E(x,uj)=0??xuj=0
假设6 数据产生过程是线性的
Y=XB+u
24
一,yi的分布
? 根据以上 6项假设,模型:
? yi=a+b1xi1+b2xi2+b3xi3+??????+ bkxik+ui
(i=1,2,?????,n)
? 中的的各个观察值的方差 =?2,数学期望
=0,相互独立,即 ui 服从 i.i.d( 0,?2)
? i.i.d是
? Identical Independent Distribution
? 指的是独立同分布。但是,并没有指出
它是何种 具体的分布形式 。
25
yi的分布的数字特征
? E( yi) =E( a+b1xi1+b2xi2+b3xi3+??????+
bkxik+ui)
? 因为 a,b1,b2,b3,bk,(参数) 和
xi1,xi2,xi3,xik(确定性变量)都不是随机变
量(而 a,b1,b2,b3,bk的估计量才是随机变
量),所以
? E( yi) =a+b1xi1+b2xi2+b3xi3+??????+ bkxik
? Var( yi) =Var( a+b1xi1+b2xi2+b3xi3+??????+
bkxik+ui)
? Var( yi) =?2, 所以 yi 服从
? i.i.d( a+b1xi1+b2xi2+b3xi3+??????+ bkxik,?2)
? Cov(yi,yj)=0
26
Yi分布图
Y
X
Var(Yi)
?2
?2
?2
E(yi)是一条总体回归直线,
E(yi)=a+b1x1+……+b kxk
估计得到的回归直线在它的附近
E(yi)=a+b1x1+……+b kxk
27
Y
X
Var(Yi)
E(yi)=a+b1x1+……+b kxk
E(yi)是一条总体回归直线,
E(yi)=a+b1x1+……+b kxk
估计得到的回归直线在它的附近
28
二、高斯-马尔科夫定理
最小二乘估计量的样本分布
29
问题的提出
? 对于设计模型:
? yi=a+b1xi1+b2xi2+b3xi3+??????+ bkxik+ui
? (i=1,2,?????,n)
? 根据一组样本值,经最小二乘估计可以得到一条直线,
得到参数的估计值,根据另一组样本又会得到另一条
直线,另一组参数的估计值。如果给出多个样本,就
会得到多组参数估计值。
? 必须指出,每一条直线必定或多或少地反映了总体的
性质,就象子女象它们的父母,带来了总体(母体)
的信息,位于总体回归直线附近。
? 我们正是这样假设的数据生成过程。
? 估计得到的参数是一个随机变量(随抽样不同而不
同),因此有必要讨论参数估计量的性质。
30
解决问题的思路
? 从一元模型入手,接着再讨论二元模型。
分别讨论:
? 1、线性估计
? 2、参数估计量的数学期望
? 3、参数估计量的方差和协方差
? 此外,还要给出它们的矩阵表示
31
三、一元模型参数估计量的性

? 一元模型,yi=a+bxi+ui
? 1、线性估计
? 2、辅助量 wi的性质
? 3,E( b^) =b——无偏估计量
? 4,Var( b^) =?
? 5,E( a^) = a——无偏估计量
? 6,Var( a^) =?
1、线性估计
? ?? ?
? ?
? ?? ? ? ? ? ?
? ? ? ? ? ? ? ?
? ?
? ? ? ? ? ?
是线性的。的线性组合,即是说明

bbb
i
x
i
x
i
x
b
xyxxyx
xyxxy
i
xy
bba
yyw
xx
x
wy
xx
x
y
xx
x
yxxyxxy
xxyxy
xx
xy
uxy
ii
i
i
i
i
i
i
i
i
ii
i
ii
i
ii
i
i
i
i
i
ii
i
???
,
?
0
?
222
2
?
? ?
?
? ?? ?
?
??? ?
? ??
? ?
?
??
?
?
?
?
?
??
??????????
??????
??
????
?
33
特性的线性组合,具有线性也是 y ia?
估计量的特性。的线性组合,具有线性是说明

y
ykwk
ywyw
y
yw
i
i
iii
i
i
i
i
i
i
i
a
ax
n
x
n
x
n
a
bxbya
?
?
1
1
?
??
?
?
? ?
?
?
????
?
?
?
?
?
?
????
??? ?
34
2、辅助量 wi的性质
? ?
? ?
?
?
? ?
?
?
?
??
?
?
1)4(
1)3(
1
)2(
0)1(
2
2
xw
xw
xx
w
w
ii
ii
i
i
i
x
? ?
? ?
? ?
? ? ? ?
0
0
222
2
?
? ?? ?
?
?
? ?
?
? ?
??
?
?
?
?
?
?
?
w
xxxx
x
xx
x
w
xx
x
w
i
ii
i
i
i
i
i
i
i
xx
x
? ? 0)1( w i
? ?
? ?
? ?
? ?? ?
? ?? ?
?
? ?
?
?
?
?
?
?
?
?
? ?
?
?
??
?
??
xx
w
xx
xx
xx
xx
w
i
i
ii
i
i
i
2
2
2
2
2
2
2
2
1
? ?? ??
?
xx
w
i
i 2
2 1
)2(
? ?
? ?
? ?
? ?
? ?
? ?
? ?
?
?
???
?????
? ?
? ?
?
? ?
?
??
??
?????
?????
???
?
??
1
3(1
01(0
1
2
2
2
xw
xw
wxwxw
wxwwxwxw
xx
xx
x
xx
x
xw
ii
ii
iiiii
iiiiiiii
i
i
i
i
i
ii
x
x
xxx
x
x
x
))由性质(又
))由性质(
?
?
? ? ?? ??? 1)4(1)3( xwxw iiii x
3,? ?
是的无偏估计量bbbE ?? ?
? ? ? ? ? ?
? ? ? ?
? ? ? ?
? ?
的无偏估计量。是说明
、由性质


bb
bbababE
babE
babaEE
EEbE
Ebab
xww
xw
xuxy
ywyw
uuxyyw
iii
ii
iii
i
i
i
i
i
iii
ii
i
?
4110
?
?
?
0)(
?
?
????????
???
?????
??
?????
??
?
??
? ??
4,? ?
? ?? ?
?
xx i
bV a r 2
2
? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ?
? ?
? ?
? ?? ?
? ?
??
??
??
??
??
????
??
xx
xx
ww
uwuxw
ywyw
i
i
ii
iiiii
i
i
i
i
bV a r
bV a r
V a rbaV a rbV a r
V a rV a rbV a r
2
2
2
222
22
2
?
1
?
?
?
?
?

5,? ? 的无偏估计量是说明 aaaaE ?? ?
? ? ? ?
? ?
? ?
? ? ? ?? ?
? ?
的无偏估计量。是说明 aa
axbxbaaE
xb
n
b
n
na
n
xbEEba
aE
xb
n
ba
Exb
n
ExbyEaE
xux
uxy
iii
iii
?
?
?
?
???
?
????
???
???
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
????
??
??
41
? 证明过程很烦琐,
? 下面用矩阵证明它们的方差 -协方差矩阵。
? ? ? ? ? ?
?
?
?
?
?
?
?
?
???
? ?? ?
?
nn
aV a r
xx
x
xx
x
ii
i 1?6
2
2
2
2
2
2 ??、
42
? ?
? ?
?
2
2
?,?
??7
? ?
??
xx i
x
baC o v
ba 的关系:、、
43
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? YXXXBYXBXX
an
a
a
na
a
a
yx
yx
y
b
b
xxxx
xxxx
xx
yxbxbxxx
yxbxxbxx
ybxbx
i
i
i
i
i
iiii
iiii
ii
i
iiiii
i
iiiii
i
ii
???????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
???
???
?
?
?
?
???
???
??
????
????
???
1
2
1
2
1
2
2212
21
2
11
21
22
2
21212
12211
2
11
2211
)3(
)2(
)1(
2332
321

:正规方程的矩阵表示为
个个方程化为,将)式中的)、(式,消去(
))、(代入()式中的(注意准备将(正规方程:
? ?
? ? ? ?? ? ? ? ? ?
? ? ? ? ? ? ? ?
? ? BBE
UEXXXXUXBEXXX
YEXXXYXXXV a rBV a r
YXXXBYXBXX
Y
Y
Y
Y
a
X
X
b
b
XXX
XXX
XbXbXX
XbXXbX
??
????????
??????
???????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
??
?
?
?
??
??
???
???
?
?
??
)2(
)1(
?
11
11
1
2
1
2
1
2
121
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
?
?
??
??
。,这里使用的是离均差的正规方程组:请注意消去
四、二元模型参数估计量的性质
? ?
? ?
? ?
? ?
? ? ? ? ? ?? ?? ?
? ?
? ?
? ?
? ? ? ? ? ?? ?? ?
?
?
2
2211
2
22
2
11
2
11
2
2
2
22
2
2211
2
22
2
11
2
22
2
1
1
11
?
??
?
??
)3(
)2(
??)1(
??
?
?
??
?
?
?
??? ?? ?
? ?
??? ?? ?
? ?
xxxxxxxx
xx
b
bbb
xxxxxxxx
xx
b
bbb
iiii
i
iiii
i
V a r
E
V a r
E
aaEa
的性质:
的性质:
的性质:
46
yi=a+b1xi1+b2xi2+b3xi3+??????+ bkxik+ui
的 矩阵表示
uXBYu
a
B
XY
u
u
u
b
b
xxx
xxx
xxx
y
y
y
nk
nknn
k
k
n
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
???
?
?
?
2
1
1
21
22221
11211
2
1
,
1
1
1
,
47
模型的基本假定
? ?
? ?
? ? 1,1
.3
0
0
.2
0.1
2
2
2
2
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
kXR a n kk
XX
IuuE
uE
u i
即秩为
的各列是线性无关,,为可控制变量的观察值
且不自相关的均值为零,同方差,随机扰动项
?
?
?
?
?
48
最小二乘法估计
? ?? ?
? ?
? ? ? ? ? ?
? ? ? ? ? ? YXXXBYXXXBXXXX
XXkXXR a n kkXR a n k
YXBXXBXXYX
B
uu
BXXBYXBYYBXYXBYuu
BXYYYu
u
a
BY
BXY
u
u
u
u
b
b
y
y
y
i
nk
n
?????????
????????
??????????
?
??
????????????????
????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
?
?
111
1
2
2
1
1
2
1
??
11
?
0
?
22
??
???
2
??
??
??
?
?,
?
?
,
?
??
?
?
?
?
?
?
?
?
?
存在?
???
49
参数最小二乘估计量的数学期望
? ?
? ? ? ?? ? ? ? ? ?? ?
? ? ? ?? ?
? ? ? ? ? ?
的无偏估计量。是说明 BB
BuEXXXBE
uXXXXBXXXE
uXBXXXEYXXXEBE
YXXXB
?????
??????
???????
???
?
??
??
?
1
11
11
1
?
?
50
参数最小二乘估计量的方差 -协方差
? ? ? ?? ?
? ? ? ? ? ?
? ? ? ?
? ?
? ? ? ? ? ?? ?
? ? ? ? ? ?
? ? ? ?
? ?XX
XXIXXXX
XXXuuEXXX
XXXuuXXXEBC o vV a r
uXXXBB
BuXXXXBXXXBB
BuXBXXXBYXXXBB
BBBBEBC o vV a r
??
????
?????
??????
????
????????
??????????
?
?
?
?
?
?
????
?
??
??
??
?
??
??
1
2
1
2
1
11
11
1
11
11
?
?
?
?
?
'
??
?
?
二元模型的方差 -协方差矩阵
? ?
? ?
? ?
? ?
? ?
? ? ? ?
?
? ?
?? ??
?
??
??
? ??
??
??
? ??
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
xx
xx
x
xxxx
x
b
xxx
xxx
xxxx
xxx
xxx
xxxx
xxx
xxx
ii
ii
i
iiii
i
iii
iii
iiii
iii
iii
iiii
iii
iii
V a r
XX
XX
XX
??
??
?
????
?
???
???
????
???
???
????
???
???
2
2
2
1
21
2
2
1
2
2
21
2
2
2
2
1
2
2
1
2
121
21
2
2
21
2
2
2
2
1
2
2
1
2
121
21
2
2
21
2
2
2
2
1
1
2
221
21
2
1
1
1
?
?
?
?
?
差形式。矩阵中的元素均为离均
? ?
? ?
? ?
? ? ? ?
? ?? ?
? ?
回归的决定系数关于是其中
差形式。矩阵中的元素均为离均
21
11
1
2
2
2
1
21
2
2
21
2
21
2
2
2
2
1
21
2
2
1
2
2
21
2
2
2
2
1
2
2
1
2
121
21
2
2
21
2
2
2
2
1
2
2
1
?
XX
Xn V a r
V a r
XX
xx
xx
R
R
xx
xx
x
xxxx
x
b
xxx
xxx
xxxx
ii
ii
xx
xx
ii
ii
i
iiii
i
iii
iii
iiii
? ?
?
?
? ?
?? ??
?
??
??
? ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
??
??
??
??
?
????
?
???
???
????
?
?
?
?
?
回归系数方差与变量方差和决定系数之间的关系
回归系数方差与变量方差和决定系数之间的关系
? ?
? ?
? ?
? ? ? ?
? ?? ?
? ?
回归的决定系数关于是其中
差形式。矩阵中的元素均为离均
12
12
1
2
2
2
1
21
2
2
12
2
12
2
2
2
2
1
21
2
2
2
2
2
21
2
2
2
2
1
2
1
2
2
121
21
2
2
21
2
2
2
2
1
2
2
1
?
XX
Xn V a r
V a r
XX
xx
xx
R
R
xx
xx
x
xxxx
x
b
xxx
xxx
xxxx
ii
ii
xx
xx
ii
ii
i
iiii
i
iii
iii
iiii
? ?
?
?
? ?
?? ??
?
??
??
? ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
??
??
??
??
?
????
?
???
???
????
?
?
?
?
?
? ?
? ? ? ?
? ?
结果。参数估计值得不到正确
方差越大,重共线越强。性相关程度越高,即多
间的线数越大说明解释变量之决定系数。如果决定系
归后的对所有其它解释变量回是其中
b
R
R
b
m
xkxxxxm
xkxxxxm
m
V a r
Xm
Xmn V a r
V a r
?
?
2
,,3,2,1
2
,,3,2,1
2
1
1
?
?
?
?
?
?
?
回归系数方差与变量方差和决定系数之间的关系
一元回归模型系数的方差和协方差
? ?
? ?
? ?
? ?
? ?
? ?
? ? ? ?
? ?
? ? ? ?
??
?
??
?
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
1
2
2
2
1
2
21
2
1
2
1
2
1
?
,?
?
?
)(
1
111
,
,
1
1
1
,
? ???
? ?????
?
?
??
??
?
?
?
?
??
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
??
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??????
??
xxxx
x
xxxxxx
x
x
xx
xx
xx
x
xxx
u
u
u
x
x
x
y
y
y
uxy
iii
i
iiiii
i
i
ii
ii
ii
i
n
nn
n
ii
i
x
n
baC o v
n
n
bV a r
n
aV a r
XXBV a r
n
n
XX
n
XXX
b
a
B
uXY
uXBYba
?
?
????
关于回归系数的 t检验
? ?
? ?
?
?
??
?
纳伪的显著水平为检验
并没有对纳伪进行无可奈何的,因为我们可靠性。而不拒绝则是
的有力的,此时有。注意拒绝是坚决地、否则,不拒绝
,该回归系数有意义;小概率事件发生,拒绝若
或(给定显著水平
?
?
?
???
?
?
?
?
?
??
??
1
1~
)()(
)(
)01.005.0
0:0:
0
0
1,
0
?
??
?
??
H
H
b
b
b
bb
b
bb
bHbH
tt
knt
V a rV a r
SE
E
t
kn
i
i
i
i
i
i
ii
iAi
57
t
f(t)
t?-t?
58
结论
? 最小二乘估计量是线性、无偏估计量
(高斯 -马尔科夫定理将证明它们是有效
估计量)。
59
第三节 高斯-马尔科夫定理
? 一、高斯-马尔科夫定理基本概念
? 二、以模型,yi=a+bxi+ui
? 为例证明高斯-马尔科夫定理
? 1、顺证明
? 2、逆证明 ——构造法证明
60
一、高斯-马尔科夫定理基本概念
61
高斯 -马尔科夫定理
? 对模型,yi=a+b1xi1+b2xi2+b3xi3+??????+ bkxik+ui
? ui服从 i.i.d(0,?2),最小二乘估计 a^,b1^,b2^,
??????,bk^是 a,b1,b2,??????,bk最好的,线性的,无
偏的估计量。
? 所谓最好的估计量,是指估计量中的方差最小
的那个估计量。即最小二乘得到的估计量在所
有线性、无偏估计量中,它的方差最小。
? 所谓无偏估计量,是指估计量的数学期望等于
真实值。
? 所谓线性估计量,是指估计量与 yi存在线性关
系 ——估计量是 yi的线性组合。
62
马尔科夫定理为例说明高斯以 ?b?
1
? ?
? ?
? ?? ?
?
?
?
?
?
xx
x
w
yw
b
bb
b
i
i
i
i
i
x
E
M i n V a r
2
1
1
1
1
?
?
?
所谓线性的是指
所谓无偏的是指
所谓最好的是指
63
二、以模型,yi=a+bxi+ui为例
证明高斯-马尔科夫定理
? 1、线性的
? 2、无偏的
? 3、最好的 ——一切线性无偏估计量中最
小二乘估计量的方差最小
64
1、最小二乘估计量是线性的
? ?? ?
? ?
? ?
? ?
? ?
? ?? ? ? ???
? ?
?
?
? ?
? ?
?
????
?
?
?
?
?
??
?
yxyx
xx
x
w
yw
xx
yx
xx
yx
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
xyx
x
x
yx
b
注意
2
2
2
65
2、最小二乘估计量是无偏的
? ? ? ?
? ?
? ?
? ?
b
ba
ba
Eba
baE
E
EbE
wxww
uwxww
uxw
yw
yw
iiii
iiiii
iii
i
i
i
i
?
?????
????
???
???
?
?
???
???
?
?
?
010
0
?
66
3、最小二乘估计量方差最小的顺
证明(思路)
? 因为最小二乘估计量是线性的,设有一
个任意的不等于最小二乘估计量的线性
的无偏的估计量(为什么只是在 LS估计
量上加一点或减一点呢?)
? 如果证明这个任意的线性无偏估计量的
方差大于最小二乘估计量的方差
? 那么,最小二乘估计量的方差就是一切
线性无偏估计量中方差最小的,因而也
是最好的
3、最小二乘估计量方差最小的顺证明
(必须满足的条件)
? ?
? ? ? ?? ? ? ? ? ?
? ? ? ? ? ?? ?
? ?
?
?
?
?
?
?
?
????
????
??
????
?????
????
???????
?
?
?
??
??
??
????
??? ?
??
?
0
0
0
1,0
?
)00
?
xB
B
xBB
xBB
xww
xBBxww
bxaBwubxaBw
yBwyBw
BByBw
ii
i
iii
iii
iii
iiiiii
iiiiiii
i
ii
i
ii
ii
i
ii
baba
babbE
baba
E
EEbE
bbib
bbbb
是任意的、
为保证无偏条件
(线性条件)(当
,且的另一线性无偏估计量为任意的设
?
?
?
?
??
??
3、最小二乘估计量方差最小的顺证明
(结论)
? ? ? ?? ? ? ? ? ?
? ? ? ? ? ?
? ?
? ?
? ? ? ?
? ?
? ? ? ? ? ?bM i n V a rbV a r
i
bV a r
bV a rbV a r
i
bV a r
xxx
ii
V a r
ii
V a rbV a r
wBw
w
xx
w
xx
Bw
xxxx
BBx
B
xx
x
Bw
BwBwBBww
yBwyBw
ii
i
i
i
i
i
ii
iii
i
i
i
ii
iiiiii
ii
ii
????
?
?
?
?
?
???
????
?
?
?
?
?
?
???
?
??
?
?
?
?
?
??
?
?
?
?
?
???
?
?
?
?
?
???
???
??
?
? ?
?
? ?
?
? ?? ?
? ?
?
? ?
?
???
? ??
??
??
?
???
2222
2
22
2
22
2
22
2
222
222
2
22
2
2
?
11
?
0
00
22
?
?
?
最后

现在证明:
69
4、最小二乘估计量方差最小的逆
证明 ——构造法证明
? 1、思路
? 2、利用拉格朗日条件极值法,使构造出
来的估计量的方差满足最小
? 3、对比条件极值结果与最小二乘估计量
进行比较 ==>最小二乘估计量的方差最小
70
4、最小二乘估计量方差最小的逆证明
—构造法证明(思路)
? 1、依据线性特性构造一个线性的估计量( yi
的线性组合)
? 2、构造出来的估计量必须满足无偏的条件
? 3、通过拉格朗日条件极值法,在满足 2、给出
的条件下,求估计量方差的极值(最小)
? 4、用 3、得到的结果与 LS估计量进行比较
? 5、结论 ——LS估计量的方差最小
2、最小二乘估计量方差最小的逆
证明 —(构造一个线性估计量)
? ? ? ?
? ?
? ? ? ? ? ?
? ? ? ?
? ? ? ??
?
???
?
?
??
??
?
?
???
??
?
?
?
?
?
???
????
B
B
ByByB
xB
B
xBB
uxByB
i
i
iiiii
ii
i
iii
iiiii
M i nbV a r
M i nbV a r
V a rV a rbV a r
babE
baEbEb
2
2
22
222
1
0
最小欲使
已经固定
最小欲使
满足无偏性
设任意估计量
?
?
?
?
?
??
?
?
?
72
4、最小二乘估计量方差最小的逆
证明 ——(拉格朗日条件极值) 1
? ?
? ? ? ????
?
?
?
????
?
?
?
1,,
1
0.
21
2
21
2
xBBBB
xB
B
B
iiiii
ii
i
i
L
ST
M i n
????
构造拉格朗日函数:
最小线性无偏估计量的方差
的条件极值:整个问题转化为求下面
73
4、最小二乘估计量方差最小的逆证明 ——
(拉格朗日条件极值) 2
x
n
nn
n
L
n
L
n
L
L
L
x
B
xB
xB
B
xB
B
xB
B
xB
B
i
i
ii
ii
i
nn
n
???
??
?
?
??
??
??
221
21
2
1
21
2212
2
1211
1
0
02)()2()1(
)2(01
)1(0
)(02
)2(02
)1(02
??????
??????
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
????
?
?
???
?
?
????
?
?
????
?
?
????
?
?
?
?
??
?
?
?
?
?
得:
74
4、最小二乘估计量方差最小的逆证明
—— (拉格朗日条件极值) 3
? ?
? ?
? ?
? ? ? ?
? ?
? ? ? ?
? ??
???
?
?
?
????
?????
?
?
?
?
?
?
?
??
??
??
?
?
?
?
?
?
?
???
???
???
??
xxxx
xBxxxB
xxxBxxB
xB
xB
xB
xB
xB
xB
i
ii
iiiiii
iiiiiii
nnnn
x
x
xx
x
x
x
x
x
x
nx
22
2
22
2
222
121
22
2222
1221
21
22
12
22
2
2
2
02
02
02
)1
?
?
??
?
?
?
??
??
??
??
无偏约束
两边同乘通式:
移项
式:()代入(将
?
??
?
75
? ?
? ?
? ?
? ?
? ?
? ?
? ?
? ?? ?
? ?
的估计量差最小估计量拉格朗日极值法求得方
代入将已经求得的
注意求和
两边同乘
通式:
LS
b
yx
b
x
x
bx
x
x
xx
yx
yB
xx
yx
yB
yxyB
xx
yByxyB
yxyBy
xB
i
i
i
i
i
i
i
i
i
i
iii
i
i
i
i
iii
i
i
i
i
i
i
ii
??
?
??
???
?
??
???
????
???
??
? ?
?
?
? ?
?
?
??
? ?
???
?
2
2
2
2
2
2
2
222
2
2
2
?
?
??
?
?
?
76
统计计算中的技巧之一
? ? ? ?
? ? ? ?? ?
? ? ? ?? ?
? ? ? ?
? ? ? ?
? ?
? ??
?
? ?
? ?
?
?? ?
? ??
??
????
????
????
????
???
??
xx
xx
xxx
xxx
xxx
xxxx
xxxx
ii
ii
iii
iii
iii
ii
ii
x
xx
xxx
xxx
xxx
xx
i
i
x
0
2
2
的证明
77
统计计算中的技巧之二
? ? ? ?? ?
? ?? ? ? ? ? ?? ?
? ? ? ?
? ? ? ?
? ?
? ??
?
? ?
? ?
??
??
??
????
????
????
??????
????
yx
yx
xyx
xyx
xyxyx
yxyx
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
x
yx
xyx
yxx
yxxyx
yxx
0
的证明
78
第四节 高斯-马尔科夫定理再探
79
问题的提出
? 探索规律的一般方法:观察 ==>鉴别差异
==>寻找产生差异的原因 ——得到(因果)
规律 ==>提出措施 ==>改进工作、提高效
益 ==>增进人类最大的福利
? 观察的种类:
? ( 1)可控制条件下的观察
? ( 2)不可控制条件下的观察
80
可控制条件下进行观察举例
——施肥试验一
? 控制条件:多块面积相等、光照相同、
肥沃程度一样,播种同一品种同量的种
子,采用相同的经营管理
? 试验对照措施:施相同的氮肥( 50kg)
? 试验结果:一块地产 1000kg,另一块产
1030kg,……
? 结论,30kg的产量差异是什么原因引起
的?无法解释。就目前的认识水平它只
能是随机因素引起的。
81
可控制条件下进行观察举例
——施肥试验二
? 对照措施 ——分别施用氮肥量,30,40、
50,60,70kg(唯一差异性)
? 试验结果 ——产量,800,900,1000、
1100,900
? 结论:
? 产量的差异来自施肥量的差异
? 于是可以拟合出施肥模型
? 寻找出最佳施肥量
82
由两次试验结果得到的起示
? 1、拉开控制条件的差异
? ——增加自变量的方差
? 2、使自变量的平均数尽可能地接近于
? 用户准备用来进行预测时的自变量的值
? 3、通过对比探索原因,拟合模型
? 4、这样作还可以减少估计参数的方差估计
更准确
? 5、这样作还可以使期望预测的精度提高
估计回归系数的方差与自变量方差的关系
? ?
? ? ? ?
? ? ? ?
? ? ? ?
? ?
? ?
? ? ? ?
么样的启示?两个分母项给你带来什
精度。。都会影响估计参数的分母。
,分母的线性相关程度越高越大说明解释变量之间
决定系数归后的决定系数,如果对所有其它解释变量回是
中的大小由分母决定。其常数,
小估计参数优良。大估计得到的参数差,
??????
??
?
?
?
?
?
?
?
?
? ?
mm
m
m
xkxxxxm
m
mm
xkxxxxk
m
xkxxxxmmim
m
XV a rXV a r
V a r
X
V a r
V a rV a r
Xn V a r
V a r
b
Rb
bb
R
Rxx
b
?
?
??
?
2
,,3,2,1
2
2
,,3,2,1
2
2
,,3,2,1
2
2
1
1
1
?
?
?
?
?
?
?
85
从试验设计与估计量方差得到的启示
? 在试验一中,因为自变量的方差等于 0,
不存在差异不能建立模型。即使建立起
模型,回归系数的方差趋于极大 ——模
型不稳定。因此要增大自变量的方差
Var(Xm)。
? 筛选自变量时它们之间最好不存在比较
密切的相关关系,否则出现多重共线 —
—复相关系数(拟合优度)趋于 1,也将
出现回归系数的方差趋于极大 ——模型
不稳定。因此要筛选自变量。
86
一、自变量离均差为零
? 对可控制试验,设计时尽量将自变量的
差距拉大,增加自变量的方差。也就是
我们常说的“要全面看问题”。一门新
兴的学科 ——试验设计 ——怎样安排试
验。用最小的代价、最小的时间、采用
最小的试验次数,从而采用最简单的方
法建立最优的模型。已经成为经验学科
的必修课。
? 对不可控制试验,收集数据时尽可能作
到全面,扩大自变量取值的范围
四个物体称重 ——正交试验设计
次)次(每个物体称重重
相当于称误差方差的四分之一。
差应为原们(平均数)的误差方
次。那么它因为每个物体被称重
个未知的重量个方程可以解出
在右边在左边
在右边在左边
在右边在左边
在左边
、、、记录称重结果分别为
次称重用砝码平衡,该物体置于右边。每凡是
边时,该物体置于天平左矩阵中凡是正
、、、分别重、、、设物体
416
4
44
3241
4321
4231
4321
1111
1111
1111
1111
4321
1
1
4321
4
4321
3
4321
2
4321
1
4321
4321
4321
????
????
????
????
?
?
?
?
?
?
?
?
?
????
????
????
????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
?
myyyy
myyyy
myyyy
myyyy
mmmm
yyyy
AAAA
AAAA
AAAA
AAAA
AAAA
H a r d a m a
AAAA
88
在右边在左边
在右边在左边
在右边在左边
在左边
、、、记录称重结果分别为
次称重用砝码平衡,该物体置于右边。每凡是
边时,该物体置于天平左矩阵中凡是正
、、、分别重、、、设物体
3241
4321
4231
4321
1111
1111
1111
1111
4321
1
1
4321
4321
4321
AAAA
AAAA
AAAA
AAAA
AAAA
H a r d a m a
AAAA
mmmm
yyyy
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
?
次)次(每个物体称重一。相当于称重
差的四分之误差方差应为原误差方那么它们(平均数)的
次。物体被称重个未知的重量因为每个个方程可以解出
416
444
1111
1111
1111
1111
4321
4
4321
3
4321
2
4321
1
4321
44
4321
33
4321
22
4321
11
4321
4
4321
3
4321
2
4321
1
4321
????
????
????
????
?
?
?
?
?
?
?
?
?
????
????
????
????
?
?
?
?
?
?
?
?
?
?????
?????
?????
?????
?
?
?
?
?
?
?
?
?
????
????
????
????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
myyyy
myyyy
myyyy
myyyy
umyyyy
umyyyy
umyyyy
umyyyy
myyyy
myyyy
myyyy
myyyy
EEEE
EEEE
EEEE
EEEE
AAAA
90
次)次(每个物体称重一。相当于称重
差的四分之误差方差应为原误差方那么它们(平均数)的
次。物体被称重个未知的重量因为每个个方程可以解出
416
444
4
4321
3
4321
2
4321
1
4321
44
4321
33
4321
22
4321
11
4321
?
?
?
?
??
?
?
?
????
????
????
????
?
?
?
?
??
?
?
?
?????
?????
?????
?????
myyyy
myyyy
myyyy
myyyy
umyyyy
umyyyy
umyyyy
umyyyy
EEEE
EEEE
EEEE
EEEE
91
二、多重共线(二)
?两种情形
?( 1)拟合优度等于 1
?( 2)拟合优度接近于 1
92
工资模型
? Wi=a+b1Si+b2Ei+b3Ai+b4Ui+ui ( 1)
? 其中 Wi=工资,Si=学校教育,Ei=工作年限,Ai=年龄,
Ui=是否参加工会。这是一个典型的多重共线问题。用
年龄学龄和工龄进行回归,会得到拟合优度 R2=1,因
为:
? Ai=7+Si+Ei ( 2)
? 解决办法:将( 2)式代入( 1)式,将消去 Ai,消除
了模型中的完全线性关系,就消除了多重共线。
? Wi=( a+7 b3) +( b1+ b3) Si+( b2 + b3 ) Ei+ b4Ui+ ui
? 只需估计,Wi=c+dSi+eEi+fUi+ ui
93
消除多重共线的方法之一
? 找出模型中的完全线性关系,拟合优度
(复相关系数) =1
? 利用完全线性关系代入待估计模型
? 消去(删除)共线变量,从而消除多重
共线关系
? 即复相关系数 =1,应考虑删除变量;反
之复相关系数远远地小于 1,则应在模型
中加入新的自变量
? 为了优化模型在变量选择上:删除或加
入变量
94
1、变量的误删的定义
? 在模型中本应包括这个变量因为 R2==>1,
为了消除多重共线,我们将这个变量从
模型中删除了,此时称为变量误删。
? 因此,原模型是正确的,删除变量后的
模型是错误的。
95
2、变量的误加的定义
? 在模型中本不应包括这个变量因为 R2<<1,
为了增加拟合优度(至少可以使拟合优
度不减),我们将这个变量增加到模型
中,此时称为变量误加。
? 因此,原模型是正确的,增加变量后的
模型是错误的。
96
3、变量的误删的后果
? ?
? ?
? ?
? ?
? ? ? ?
? ?
? ?? ?
? ?
? ? ? ? ? ?
? ?
? ?? ?
? ?
? ?
? ? ? ? ? ?
? ? 的方差减少误删后仍在模型中系数显然,
的有偏估计是
将正确模型代入
误删模型:
真实模型:
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
??
??
?????
?
???
?
?
?
?
?
???
????
? ?? ?
? ?
?
? ?
???
? ?
?
? ?
?
? ?
?
?
?
?
?
???
??
??
?
???
?
?
?
??
??
??
?
?
?
1
1
11
2
2
1
2
1
11
2
2
1
11
11
2
2211
211
11
2
211
2
111
1
11
1
11
2
2
2
1
1
11
1
11
2
11
11
2
11
1
2
2211
2
112
2
1
1
1
,0..~
,0..~
V a rV a r
V a rV a r
E
diia
dii
b
xxRxx
b
b
xx
xxxx
b
xx
xxxxxxxx
b
xx
xxxx
b
xx
yxx
xx
yxx
b
uuxby
uuxxy
ii
i
ii
i
iiiii
i
iii
i
i
i
i
i
i
iii
i
iiii
i
X2=因变量,X1=自变量
? ?
? ?
? ?
? ?
? ? ? ?
? ?
? ?? ?
? ?
? ? ? ? ? ?
? ?
? ?? ?
? ?
? ?
? ? ? ? ? ?
? ? 的方差减少误删后仍在模型中系数显然,
的有偏估计是
将正确模型代入
误删模型:
真实模型:
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
??
??
?????
?
???
?
?
?
?
?
???
????
? ?? ?
? ?
?
? ?
???
? ?
?
? ?
?
? ?
?
?
?
?
?
???
??
??
?
???
?
?
?
??
??
??
?
?
?
1
1
11
2
2
1
2
1
11
2
2
1
11
11
2
2211
211
11
2
211
2
111
1
11
1
11
2
2
2
1
1
11
1
11
2
11
11
2
11
1
2
2211
2
112
2
1
1
1
,0..~
,0..~
V a rV a r
V a rV a r
E
diia
dii
b
xxRxx
b
b
xx
xxxx
b
xx
xxxxxxxx
b
xx
xxxx
b
xx
yxx
xx
yxx
b
uuxby
uuxxy
ii
i
ii
i
iiiii
i
iii
i
i
i
i
i
i
iii
i
iiii
i
X2=因变量,X1=自变量
98
变量误删引致的结论
? ( 1)估计量有偏
? ( 2)仍然保留在模型中的估计量的方差
减小
方差 方差
有偏
真实模型
? ?bE ?1 ????????
1
E
99方差 方差
有偏
真实模型
? ?bE ?1 ????????
1
E
100方差 方差
有偏
真实模型
? ?bE ?1 ????????
1
E
101
4、变量误加的后果 1
? ?
? ?
? ?
? ? ? ? ? ?? ?
? ?? ?? ? ? ? ? ?
? ? ? ?
? ?
? ?
? ?
? ? ? ?
? ?
然是无偏的变量误加后,估计量仍
同理
误加模型:
真实模型:
?
?
??
?
?
??
?
?
???
???????
???
?
?
?
?
?
?
?
?
?
?
?
???
??
?
?
????
???
? ?
? ? ??
? ?
? ? ? ?
???? ?
???
???
? ?
? ? ? ?
?
??
???
??
?
??
??
?
1
12
2
2
2
2
1
12
1
12
2
1
1
2
2
1
12
2
2
2
2
1
2121
2
2
1
12
1
2
2
1
1
11
2
1
111
1
111
1
11
11111
12
2
2
2
2
1
2121
2
2
1
2
222211
2
111
1
?
?
?
)()(
,0..~
,0..~
xxxx
xxxxxx
b
xxxx
yxxxyxx
b
xxyxxxx
xxxxxxxx
yxxyyxxyx
xxxx
yxxxyxx
b
uuxbxby
uuxy
iiii
iiiiii
iiii
i
iii
i
ii
ii
i
iii
iiiii
i
i
i
i
i
i
iiii
i
iii
i
ii
iiii
i
iii
i
E
EE
E
E
E
EEE
dii
diia
????
??????
????
???????
?????
??
????
???????
102
4、变量误加的后果 2
? ?
? ? ? ?
? ?
? ?
估计量的方差变大误加变量后,原模型中
显然,
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
? ?
? ?
?
?
?
?
??
?
?
11
11
2
2
1
11
22
1
2
1
1
V a rV a r
V a r
V a r
b
xx
xxR
b
i
i
103
变量误加引致的结论
? ( 1)估计量无偏
? ( 2)估计量方差较大
真实的
误加的方差
????????
1
E
? ?bE ?1
104
消除多重共线的方法之二
——逐步回归法
? 1.目的:寻找最优回归方程 ——使 R2较
大,F显著;每个回归系数显著
? 2.种类
? ( 1)逐个剔除法
? ( 2)逐个引入法
? ( 3)有进有出法
? 3.准则:一次只能引入或剔除一个自变
量,直至模型中所有自变量均显著
105
第五节 复习与提高
? 一、计量经济学的任务
? 二、BLUE估计
? 三、二元回归系数的斜方差矩阵
? 四、回归系数的方差与复相关系数、自
变量方差之间的关系
? 五、从扣除法得到的回归系数的方差看
偏回归系数的方差
? 六、关于回归估计模型中的方差及其联

106
一、计量经济学的任务
? 在经济活动中,经济数据总是不规则地
反映经济规律的作用结果。但这些数据
的产生并不完全是任意的,它们的背后
有一个数据生成过程。
? 我们的任务是从总体中观察一组样本,
利用已知的、对应的、离散的数据推测
数据的生成过程 ——因果关系。
? 推测数据生成过程的方法有二:( 1)点
估计;( 2)区间估计
107
二、BLUE估计
? 点估计的方法也很多。但是经过以上讨
论。高斯 -马尔科夫定理保证:
? 由最小二乘法得到的估计量是线性一元
无偏的估计量,而且是一个最好的估计
量。
? 即最小二乘估计量具有 BLUE性质。
? BLUE( Best linear Unbias Estimator)
所有估计量集合 所有线性估计量集合
所有无偏估计量集合










BLUE集合
109
Best
Linear
UnbiasEstimator
BLUE
三、二元回归系数的协方差矩阵
? ?
? ?
? ? ? ?
? ? ? ?
? ?
? ?
? ?
? ?
? ?
? ?
?
?
?
?
2
21
2
2
2
2
1
21
21
2
21
2
2
2
2
1
2
1
2
2
21
2
2
2
2
1
2
2
1
221
211
21
2
2
2
2
1
2
121
21
2
2
1
2
221
21
2
1
1
2
??
?
?
???
???
,
,
,
)(
)()(
? ??
? ??
?
? ??
?
? ??
??
??
??
??
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
???
?
?
xxxx
xx
bb
xxxx
x
b
xxxx
x
b
bbb
bbb
xxxx
xxx
xxx
xxx
xxx
iiii
ii
iiii
i
iiii
i
iiii
iii
iii
iii
iii
Co v
V a r
V a r
V a rCo v
Co vV a r
BV a rCo v
XXXX
XXBV a rCo v
????
??
????
?
????
?
????
???
???
???
???
三 `、一元回归系数的协方差矩阵
? ?
? ?
? ?
? ?
? ?
? ? ? ? ? ?
? ?
? ? ? ?
??
?
????
?
?
?
2
2
2
2
2
2
2
2
2
2
2
?
2
2
2
2
2
?
2
?
2
?
2
2
2
1
2
1
2
21
2
1
2
1
2
1
1
?
,?
)
?
,?c o v (
)
?
,?c o v (
)
?
(
1
)
?
(
111
?
,,
1
1
1
,
????
? ???
? ?????
?
?
??
??
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
?
??
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????????????
?
?
?
xxxx
x
xxxxxx
x
x
xx
xx
xx
x
xxx
u
u
u
x
x
x
y
y
y
uxy
iii
i
iii
b
ii
i
a
b
a
i
ii
ii
ii
i
n
nn
n
ii
i
x
n
baC o v
n
n
n
ba
ba
BV a r
n
n
XX
XXBV a r
n
XXX
BBE
b
a
BuXY
YXXXBBXYuYuXBYba
?
?
????
四、回归系数的方差与复相关系数、自变
量方差之间的关系
? ?
? ?
? ?
? ?
? ?
? ? ? ?
?
? ?
?? ??
?
??
??
? ??
??
??
? ??
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
xx
xx
x
xxxx
x
b
xxx
xxx
xxxx
xxx
xxx
xxxx
xxx
xxx
ii
ii
i
iiii
i
iii
iii
iiii
iii
iii
ii
iii
iii
V a r
XX
ii
XX
XX
2
2
2
1
21
2
2
1
2
2
21
2
2
2
2
1
2
2
1
2
121
21
2
2
21
2
2
2
2
1
2
2
1
2
121
21
2
2
2
2
2
2
1
1
2
221
21
2
1
1
21
1
?
?
?
?
?
差形式。矩阵中的元素均为离均
113
? ?
? ?
? ?
? ? ? ?
? ?? ?
? ?
?× 1é μ? ?? ?¨?μ êy1× óúê??? ?D
2? D? ê? ?£?× ?ó ?D μ? ?a ?× ?ù ?a à? ?ù
21
11
1
2
2
2
1
21
2
2
21
2
21
2
2
2
2
1
21
2
2
1
2
2
21
2
2
2
2
1
2
2
1
2
121
21
2
2
21
2
2
2
2
1
2
2
1
?
XX
XnV ar
V ar
XX
xx
xx
R
R
xx
xx
x
xxxx
x
b
xxx
xxx
xxxx
ii
ii
xx
xx
ii
ii
i
iiii
i
iii
iii
iiii
? ?
?
?
? ?
?? ??
?
??
??
? ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?× 1é ?μ êy ·? 2? ó? ±? á? ·? 2? oí ?? ?¨?μ êy ?? ?? μ? 1× ?μ
114
五、从扣除法得到的回归系数的方差
看偏回归系数的方差
? ?
? ? ? ?
? ? ? ?
? ?
归系数进一步证明什么是偏回

)中的为(求出
的关系:与拟合
的影响:扣除
的关系:与找出
模型:
b
vyvy
xxvx
xxxx
uxbxby
V a r
xxR
E S S
gV a r
xxT S ST S SRE S S
T S S
E S S
R
E S SE S S
E S S
xx
gV a r
gf
dc
a
i
i
i
ii
i
i
i
i
i
iiii
iiii
iii
i
?
?
?
1
11
2
2
1
2
1
2
11
2
11
2
11
1
12
1
1
1
2
11
2
2
112
2121
2211
1
)?(
11
2
?
)?(
)4(?
?
)3(
)2(
?
?
)1(
?
??
??
???????
?
?
?
??
??
??
????
?
?
?
??
??
115
六、关于回归估计模型中的方差及其联系
? ?
? ?
? ?
? ? ? ?
? ?
生了两个什么问题?。于是在多元回归中产的
变量,在大模型中它又是自的是
回归的拟合优度关于所有其它解释变量是其中
对模型:
对模型:
SS
T S S
V a r
a
xx
bV a r
ba
xxx
xR
xxR
b
uxbxbxby
uxy
immim
imm
mimm
m
iikkii
i
i
ii
i
? ?
? ??
?
??????
? ?
?
???
2
2
2
2
2
1111
2
2
1
?
?
?
116
? ? ? ? ? ?
? ??
?
xxRb mimmm
V a r 2
2
2
1
?
自变量 SS为 0 多重共线
R2=1 R2?1









认为 R2=1 认为 R2?1
误删





误加





试验设计和收
集数据时尽量
拉大自变量的
方差
117
obs Y X1 X2
1 10.939 6.031 2.041
2 9.507 4.973 1.813
3 9.078 7.862 3.882
4 7.691 6.669 3.549
5 11.753 4.407 0.687
6 8.651 4.416 1.547
7 3.795 9.455 6.705
8 12.089 4.161 0.411
9 6.573 5.027 2.827
10 8.061 4.137 1.739
118
10.939
9.507
9.078
7.691
11.753
8.651
3.795
12.089
6.573
8.061
Y=
X1 X2
1 6.031 2.041
1 4.973 1.813
1 7.862 3.882
1 6.669 3.549
1 4.407 0.687
1 4.416 1.547
1 9.455 6.705
1 4.161 0.411
1 5.027 2.827
1 4.137 1.739
X=
1 1 1 1 1 1 1 1 1 16.031 4.973 7.862 6.669 4.407 4.416 9.455 4.161 5.027 4.137 X1
2.041 1.813 3.882 3.549 0.687 1.547 6.705 0.411 2.827 1.739 X2XT=
XTX= XTY=10 57.13857.138 355.4094 88.137
478.4871
(XTX)-1 XTY =B=(X
TX)-1= 1.228331 -0.19747
-0.19747 0.034561 13.77231
-0.86783
119
案例分析一,F检验失灵
LX3\HXQ89
120
案例分析二:中国财政收入模
型(按来源) LX3\HXQ105
121
案例分析三:中国民航客运量
模型 LX3\HXQ133
122
案例分析四:降低建筑企业成
本率模型 LX3\hxq149
? 教学目的:校正一些教科书中反复引证
例题的错误
123
案例分析五,Blaisdell公司用
全行业销售额预测本公司未来
销售额模型 LX3\HXQ195
124
案例分析六:美国汽车燃油量
模型 LX3\WB36
125
关于生产函数答 胡 玺 同学问
? 0、柯布 -道格拉斯生产函数
? 1、投入要素共线性问题
? 2、隐含不变规模报酬
? 3、模型的应用问题
? ( 1)参数的经济意义
? ( 2)边际生产率
? ( 3)生产弹性
? ( 4)边际替代率
? ( 5)资金密集型亦或劳动密集型
126
关于生产函数答胡玺同学问
? 0、柯布 -道格拉斯生产函数
? 1、投入要素共线性问题
? 2、隐含不变规模报酬
? 3、模型的应用问题
? ( 1)参数的经济意义
? ( 2)边际生产率
? ( 3)生产弹性
? ( 4)边际替代率
127
0、柯布 -道格拉斯生产函数
为产出
为劳动要素、为资本要素、其中
Y
LK
AY LK
??
?
128
1、投入要素共线性问题
?
?
?
?
?
?
??
?
?
?
L
K
LK
K
LK
A
L
A
L
Y
AY
LK
YLK
AY
?
??
?
??
?
1
2
1
产出的贡献与相对应的劳动一起对
出的贡献,而是资本系数不仅反映资本对产)(
入要素)舍弃具有相关性的投(
解决办法:相关会带来多重共线。
种自变量之间的都与生产规模有关,这和例如
。间存在着较强的相关性一般说来,生产要素之
为产出为劳动要素、为资本要素、其中
129
2、隐含不变规模报酬
变实际也隐含规模报酬不
时,当
为产出
为劳动要素、为资本要素、其中
?
?
?
?
?
?
?
?
??
?
?
L
K
LK
LK
A
L
Y
AY
Y
LK
AY
?
??
??
??
1
1
( 1)参数的经济意义
属于劳动密集型时一般说来
表示劳动密集的程度
表示资本密集的程度
业或行业进行对比因此,可用以与其它企
为是否存在政治运动。。技术的影响占
,,资本的影响占劳动对产值的影响占
1/
7.13 2 5.0/5 5 1 6.0/
59.05 5 1 6.0/3 2 5.0/
%79.11
%5.32%16.55
0 8 1 8.0ln1 1 7 9.0ln3 2 5.0ln5 5 1 6.00 8 8 6.1ln
97.2
1
08 17 6.011 79 1.032 5.0
1
55 16.0
?
??
??
?????
?
?
?
??
??
??
?
??
D
DTLY
Y
K
eTKL
t
D
t
131
( 2)边际生产率
增长比例。率也增加或保持同样的收益的变化情况,收益
投入以后,绝对数,还要看到增加量的增加会增加产值的
产要素投入。因此,不能光看到生产值的增长率是下降的
,说明
否也是增加的呢?那么,产值的增长率 是
定资产的增加而增加。保持不变,产值随着固、加;在
动力的增加而增保持不变,产值随着劳、表明该公司
0/,0/
0/,0/,0/
2222
????
?????????
?? KL YY
TL
TK
TYKYLY
132
( 3)生产弹性
? 当公司 K,T不变,公司劳动力增加 1%,产值增
加 0.5516%;当公司 L,T不变,公司资本增加
1%,产值增加 0.325%;
? ?T/T=1/T( T是时间)表示经过 1年,在 K,L保
持不变,产值增加 0.11791/T。随着年代的推
移,不年年提高技术水平,产值将年年下降,
技术水平可谓不进则退。
11791.0/
325.0/
5516.0/
??
??
?
??
??
?
??
??
?
?
?
?
?
?
?
T
T
Y
Y
K
K
Y
Y
L
L
Y
Y
T
k
L
133
( 4)边际替代率和替代弹性
算当年的替代率和劳动力数据代入,计应当将欲计算年的资本
劳动力对资本的替代率
降。的进行,边际替代率下负号表示随着替代过程
劳动力对资本的替代率
K
L
dK
dL
L
K
K
Y
L
Y
K
Y
L
Y
dL
dK
K
Y
L
Y
dL
dK
dK
K
Y
dL
L
Y
dY
K
Y
A
K
Y
L
Y
A
L
Y
AY
R MS
R MS
KL
KL
KL
?
?
???
?
?
??
?
?
?
?
???
?
?
?
?
????
?
?
?
?
?
?
??
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
2
1
1
1
/
/0