§ 2.3多元线性回归模型的参数估计
Estimation of Multiple Linear
Regression Model
一,多元线性回归模型
二、多元线性回归模型的参数估计
三,OLS估计量的统计性质
四、参数估计量的方差 -协方差矩阵和随机误差项
?2方差的估计
五、样本容量问题
六,多元线性回归模型实例
一,多元线性回归模型
1、多元线性回归模型的形式
? 由于：
在实际经济问题中，一个变量往往受到多个原
因变量的影响；
“从一般到简单”的建模思路。
? 所以，在线性回归模型中的解释变量有多个，
至少开始是这样。这样的模型被称为 多元线性
回归模型 。
? 多元线性回归模型参数估计的原理与一元线性
回归模型相同，只是计算更为复杂。
? 多元线性回归模型的一般形式为：
习惯上把常数项看成为一个 虚变量 的系数, 在
参数估计过程中该虚变量的样本观测值始终取 1。
这样：
模型中解释变量的数目为 （ k+1） 。
ikikiii XXXY ????? ????????? 22110 i =1,2,?,n
(2, 3, 1 )
其中,k 为解释变量的数目；
? 多元线性回归模型的 矩阵表达式 为：
???? XY ( 2, 3, 2 )
其中
X ?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
1
1
1
11 21 1
12 22 2
1 2
1
x x x
x x x
x x x
k
k
n n kn
n k
?
?
? ? ? ?
?
( )
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
?
?
?
0
1
2
1 1
?
k
k( )
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
2
1
?
n
n
2、多元线性回归模型的基本假定
模型 (2.3.1)或 (2.3.2)在满足下述所列的 基本假设 的
情况下，可以采用 普通最小二乘法 （ OLS）估计参数。
关于经典回归模型的假定
标量符号
1,解释变量 kXXX,,,21 ? 是非随机的或固定的；而且各 X 之
间互不相关 （ 无多重共线性 (n o m u l t i c o l l i n e a r i t y ) ）
矩阵符号
1,
)1( ?? kn
矩阵 X 是非随机的；且 X 的秩
1)( ?? kX?
，此时
XX
T
也是满秩的
标量符号
2,随机误差项具有零均值、同方差及不序列相关
0)( ?
i
E ? ni,,2,1 ??
22
)()( ??? ??
ii
EV a r
ni,,2,1 ??
0)(),( ??
jiji
EC o v ????
ji ?
矩阵符号
2,
INNENE
T 2
)(,0)( ???
0
)(
)(
)(
11
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
nn
E
E
ENE
?
?
?
?
??
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
n
n
T
ENNE ??
?
?
??
1
1
)(
?
?
?
?
?
?
?
?
?
?
?
2
1
1
2
1
nn
n
E
???
???
?
???
?
I
2
2
2
0
0
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
?
标量符号
3,解释变量与随机项不相关
0),( ?
iji
XC o v ?
ni,,2,1 ??
矩阵符号
3, 0)( ?NXE
T
，即
0
)(
)(
)(
11
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
iKi
ii
i
iKi
ii
i
EX
EX
E
X
X
E
?
?
?
?
?
?
??
标量符号
4, （ 为了假设检验），随机扰动项服从正态分布
),0(~
2
?? N
i
ni,,2,1 ??
矩阵符号
4,向量 N 为一多维正态分布，即
),0(~
2
INN ?
二、多元线性回归模型的参数估计
1、普通最小二乘估计
? 普通最小二乘估计
随机抽取被解释变量和解释变量的 n 组样本观测值：
kjniXY jii ??,2,1,0,,,2,1),,( ??
如果模型的参数估计值已经得到，则有：
Kikiiii XXXY ???? ????? 22110 ????? ? i =1,2,?,n
( 2, 3, 3 )
根据最小二乘原理，参数估计值应该是下列方程组的解：
?
? ?
?
? ?
?
? ?
?
? ?
?
?
?
?
0
1
2
0
0
0
0
Q
Q
Q
Q
k
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
( 2, 3, 4 )
其中
2
11
2
)
?
(
??
??
???
n
i
ii
n
i
i
YYeQ
2
1
22110
))
????
((
?
?
??????
n
i
kikiii
YYYY ???? ?
( 2, 3, 5 )
于是，得到关于待估参数估计值的 正规方程组,
?
?
?
?
?
?
?
?
?
???????
???????
???????
???????
kiikikikii
iiikikiii
iiikikii
ikikii
XYXXXX
XYXXXX
XYXXXX
YXXX
)
????
(
)
????
(
)
????
(
)
????
(
22110
2222110
1122110
22110
????
????
????
????
?
?
?
?
?
( 2, 3, 6 )
解该 （ k + 1 ）个方程组成的线性代数方程组，即可得到
(k + 1 ) 个待估参数的估计值 ?,,,,,? j j k? 0 1 2 ? 。
（ 2, 3,6 ）的矩阵形式如下：
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
???
??
nknkk
n
kkiikiki
kiiii
kii
Y
Y
Y
XXX
XXX
XXXX
XXXX
XXn
?
?
????
?
?
?
?
????
?
?
2
1
21
112111
0
2
1
1
2
11
1
111
?
?
?
?
?
?
即：
YXXX ????
?
（ 2, 3,7 ）
由于 XX ? 满秩，故有
? ( )? ? ? ??X X X Y1 （ 2, 3,8 ）
? 估计过程的矩阵表示：
对于模型 ( 2, 3, 3 ) 式有：
? ?Y X? ?
被解释变量的观测值与估计值之差的平方和为：
Q e y yi
i
n
i i
i
n
? ? ?
? ?
? ?
2
1 1
2
( ? )
? ? ? ? ? ?e e Y X Y X(
?
) (
?
)? ?
其中
e ?
?
?
?
?
?
?
?
?
?
?
?
?
e
e
e
n
1
2
?
根据最小二乘原理，参数估计值应该是下列方程组的解：
?
? ?
( ? ) ( ? )
?
? ?Y X Y X? ? ? ? 0
求解过程如下：
0
?
0)
???
)'(2(
?
0)
???
2(
?
0)
????
(
?
0)
?
)(
?
(
?
??????
???? ??? ???
?
???? ??? ???
?
???? ??????? ???
?
????? ???
?
XXYX
XXYX'Y
XXXY'Y
XXXYYXYY
XYXY
Y
Y
?
?
?
?
?
?
?
?
即得到
? ? ?X Y X X ??
于是，参数的最小二乘估计值为：
? ( )? ? ? ??X X X Y1
2、最大或然估计
? Y的随机抽取的 n组样本观测值的联合概率
L P y y y
e
e
n
n
y x x x
n
n
i i i k ki
n
(
?
,) (,,,)
( )
( )
( (
? ? ? ?
))
(
?
) (
?
)
?
?
? ?
?
? ?
? ?
?
?
?
? ? ? ?
?
?
?
?
2
1 2
1
2
1
2
1
2
1
2
2
2 0 1 1 2 2
2
2
2
?
?
?
? ? ? ? ? ?
? ? ? ?
?
?
Y X Y X
? 对数或然函数为
? 参数的最大或然估计
? 结果与参数的普通最小二乘估计相同
L Ln L
nLn
*
'
( )
( ) ( ? ) ( ? )
?
? ? ? ? ?2
1
2 2
? ?
?
?
?
Y X Y X? ?
? ( )? ? ? ??X X X Y1
3、矩估计 (Moment Method,MM)
? 用每个解释变量分别乘以模型的两边，并对所有
样本点求和，即得到,? ?
? ?
? ?
? ?
y ( x x x )
y x x x x x
y x x x x x
y x x x
i i i k ki i
i i i i k ki i i
i i i i k ki i i
i ki i i
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ?
0 1 1 2 2
1 0 1 1 2 2 1
2 0 1 1 2 2 2
0 1 1 2 2
?
?
?
?
?
( )
( )
(
k ki i ki
x x?
?
?
?
?
?
?
?
?
? ? )
? 对每个方程的两边求期望，有：
E y E ( x x x )
E y x E x x x x
E y x E x x x x
E y x
i i i k ki i
i i i i k ki i i
i i i i k ki i i
i ki
( ) ( )
( ) ( ( ) )
( ) ( ( ) )
( )
? ?
? ?
? ?
?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
0 1 1 2 2
1 0 1 1 2 2 1
2 0 1 1 2 2 2
?
?
?
?
? ? ? ? ? ?
?
?
?
?
?
?
?
?
? E x x x x
i i k ki i ki
( ( ) )? ? ? ? ? ?
0 1 1 2 2
?
? 得到一组矩条件
? 求解这组矩条件，即得到参数估计量
? 与 OLS,ML估计量等价
? ?
? ?
? ?
? ?
y ( x x x )
y x x x x x
y x x x x x
y x x x
i i i k ki
i i i i k ki i
i i i i k ki i
i ki i
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ?
? ? ? ?
(
? ? ? ?
)
(
? ? ? ?
)
(
? ? ?
? ? ? ?
? ? ? ?
? ? ? ?
? ? ?
0 1 1 2 2
1 0 1 1 2 2 1
2 0 1 1 2 2 2
0 1 1 2
?
?
?
?
2 i k ki ki
x x? ?
?
?
?
?
?
?
?
?
? ?
?
)?
? 矩方法是工具变量方法 (Instrumental Variables,IV)
和广义矩估计方法 (Generalized Moment Method,
GMM)的基础
? 在矩方法中关键是利用了
? 如果某个解释变量与随机项相关，只要能找到 1个
工具变量，仍然可以构成一组矩条件。这就是 IV。
? 如果存在＞ k+1个变量与随机项不相关，可以构成
一组包含＞ k+1方程的矩条件。这就是 GMM。
kjxE jii,,2,1,0)( ????
4、多元回归方程及偏回归系数的含义
称为 多元回归方程 （ 函数 ） 。
在经典回归模型的诸假定下，式 （ 2,3,1 ）两边对 Y 求条
件期望得：
kikiikiiii XXXXXXYE ???? ????? ?? 2211021 ),,,|( （ 2, 3, 9 ）
多元回归分析 （ multiple regression analysis） 是以
多个解释变量的固定值为条件的回归分析, 并且所
获得的是诸变量 X值固定时 Y的平均值 。 诸 ?i称为 偏
回归系数 （ partial regression coefficients） 。
?偏回归系数 的含义如下：
?1度量着在 X2,X3,…,X k保持不变的情况下,X1
每变化 1个单位时,Y的均值 E(Y)的变化，或者说 ?1
给出 X1的单位变化对 Y均值的“直接”或“净”
（不含其他变量）影响。
其他参数的含义与之相同。
三,OLS估计量的统计性质
1,线性性
? ( )? ? ? ??X X X Y1 （ 2, 3, 10 ）
2,无偏性
BBE ?)?( (2, 3, 11 )
证,NXXXBNXBXXXYXXXB ???????????
??? 111
)()()()(
?
(2, 3,1 2 )
于是,BNEXXXBNXXXEBEBE ?????????
??
)()())(()()
?
(
11
3,最小方差性
若
*
B 是 B 的任一线性无偏估计量，则有
])?)(?[(]))([(
**
??????? BBBBEBBBBE ( 2, 3,1 3 )
证明略。
四、参数估计量的方差 -协方差矩阵
和随机误差项 ?2方差的估计
1、一个疑问与回答
? 疑问：在无偏性证明中将 参数估计量看作随机量，
而在正规方程组的推导中又将它看作确定值。如
何解释？
? 解释：将一组具体样本资料代入参数估计量的表
达式给出的参数估计结果是 一个, 估计值,,或
者, 点估计,,是参数估计量的一个具体数值，
是确定的；但从另一个角度，仅仅把它看成是参
数估计量的一个表达式，那么，则是被解释变量
观测值的函数，而被解释变量是随机变量，所以
参数估计量也是随机变量，在这个角度上,称之
为, 估计量, 。
2,参数估计量的方差 -协方差
? 将 参数估计量看作随机量，具有数字特征。
? 参数估计量的方差以及不同参数估计量之间的
协方差在模型理论中具有重要性。
? 具体描述如下：
主对角线给出了各参数估计 j?? 的方差，其余部分给出了不同
参数估计 i?? 与 j?? 的协方差，故称为参数估计向量 B ? 的 方差 -
协方差矩阵 。
由于矩阵
? ? ? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
kk
kk
EBBBBE ??????
??
??
??
???
?
?
?
)
?
)(
?
(
1100
11
00
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?????
?????
?????
?
2
1100
11
2
110011
001100
2
00
)
?
()
?
)(
?
()
?
)(
?
(
)
?
)(
?
()
?
()
?
)(
?
(
)
?
)(
?
()
?
)(
?
()
?
(
kkkkkk
kk
kk
EEE
EEE
EEE
??????????
??????????
??????????
?
????
?
?
(3, 1, 1 4 )
由 （ 2,3,8 ）式可得 B
?
的 方差 - 协方差矩阵的矩阵符号表
达式,
])
??
[()
?
c o v (v a r ????? BBB ) (BB E
}]] [ ({ [ ( ????????
??
BYXX)XBYXX)X
11
E
}]{[( ??????????
??
BN)( X BXX)XB ] [ (N)( X BXX)X
11
E
])[(}]{(
1????
??????????? XXX(NNXX)XNXX)XN [ (XX)X
111
EE
121
)()(
????
??????????? XXX(IXX)XXX) X (NE ( NXX)X
11
?
12
)(
?
?? XX?
( 2, 3, 1 5 )
记 ijc 为矩阵 1)( ?XX 中第 i行第 j 列元素，比较 （ 2.1.14）与
(2.1.15)式，知第 i个回归参数估计量 i? （ i=0,1,2,…, k）
的方差、标准差、协方差为,
iii c
2
)?v a r ( ?? ? （ 2, 3, 1 6 ）
iii c?? ?)?v a r ( (2, 3, 1 7 )
ijji c
2
)?,?c o v ( ??? ? （ 2, 3, 1 8 ）
3、随机误差项 ?2方差的估计
可以证明，随机误差项方差 2? 的无偏估计为：
1
?
1)1(
?
2
2
??
????
?
??
?
?
??
?
?
knknkn
e i YXBYYee
? （ 2,3, 1 9 ）
于是，参数估计量
i
?
?
的方差、标准差、协方差可分别用其
样本方差 )
?
(
2
i
S ?,标准差 )
?
(
i
S ?,协方差 ),
?
(
ji
SS ?? 加以估计：
ii
i
iii
c
kn
e
cS
1
?)
?
(
2
22
??
??
?
?? （ 2, 3, 2 0 ）
ii
i
iii
c
kn
e
cS
1
?)
?
(
2
2
??
??
?
?? （ 2, 3, 2 1 ）
ij
i
ijji
c
kn
e
cSS
1
?)
?
,
?
(
2
2
??
??
?
??? ji ? (2, 3, 2 2 )
关于 YXBYYee ?????? ? 的证明,
MY]YXX)XX([IYXX)XX(YBXYYYe
11
?????????????
??
??
MYMY( M Y ))( M Yee ??????
可以证明,)XX)XX((IM
1
????
?
为对称等幂矩阵，
即
MM ??
，
MM
2
?
，于是：
BXYYYYXX)XX(YYY
]YXX)XX([IYMYYee
1
1
?
??????????
????????
?
?
由于
BXY
?
?
为一数量，故 YXB)BXY(BXY ???????
???
，
于是：
YXBYYee ??????
?
五、样本容量问题
⒈ 最小样本容量
? 所谓, 最小样本容量,,即从最小二乘原理和
最大或然原理出发，欲得到参数估计量，不管
其质量如何，所要求的样本容量的下限。
? 样本最小容量必须不少于模型中解释变量的数
目（包括常数项）。
2、满足基本要求的样本容量
? 从参数估计角度：＞ 3× 解释变量数目
? 从检验的有效性角度：＞ 30
3、模型的良好性质只有在大样本下才能得
到理论上的证明
六,多元线性回归模型实例
中国消费函数模型
? 根据消费模型的一般形式，选择消费总
额为被解释变量，国内生产总值和前一
年的消费总额为解释变量，变量之间关
系为简单线性关系，选取 1981年至 1996
年统计数据为样本观测值。
? 中国消费数据表 单位：亿元 年 份 消费总额 国内生产总值 前一年消费额 年 份 消费总额 国内生产总值 前一年消费额
1981 3309 4901 2976 1989 10556 16466 9360
1982 3638 5489 3309 1990 11362 18320 10556
1983 4021 6076 3638 1991 13146 21280 11362
1984 4694 7164 4021 1992 15952 25864 13146
1985 5773 8792 4694 1993 20182 34501 15952
1986 6542 10133 5773 1994 27216 47111 20182
1987 7451 11784 6542 1995 34529 59405 27216
1988 9360 14704 7451 1996 40172 68498 34529
? 模型估计结果
D e p e n d e n t V a r i a b l e, C O N S
M e t h o d, L e a st S q u a r e s
D a t e, 0 2 / 2 5 / 0 3 T i m e, 1 7, 4 7
S a m p l e, 1 9 8 1 1 9 9 6
I n cl u d e d o b se r v a t i o n s,1 6
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 5 4 0, 5 2 8 6 8 4, 3 0 1 5 3 6, 4 1 1 8 4 8 0, 0 0 0 0
G D P 0, 4 8 0 9 4 8 0, 0 2 1 8 6 1 2 2, 0 0 0 3 5 0, 0 0 0 0
C O N S 1 0, 1 9 8 5 4 5 0, 0 4 7 4 0 9 4, 1 8 7 9 6 9 0, 0 0 1 1
R - sq u a r e d 0, 9 9 9 7 7 3 M e a n d e p e n d e n t v a r 1 3 6 1 8, 9 4
A d j u st e d R - sq u a r e d 0, 9 9 9 7 3 9 S, D, d e p e n d e n t v a r 1 1 3 6 0, 4 7
S, E, o f r e g r e ssi o n 1 8 3, 6 8 3 1 A ka i ke i n f o cr i t e r i o n 1 3, 4 3 1 6 6
S u m sq u a r e d r e si d 4 3 8 6 1 3, 2 S ch w a r z cr i t e r i o n 1 3, 5 7 6 5 2
L o g l i ke l i h o o d - 1 0 4, 4 5 3 3 F - st a t i st i c 2 8 6 8 2, 5 1
D u r b i n - W a t so n st a t 1, 4 5 0 1 0 1 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
? 拟合效果
0
10000
20000
30000
40000
50000
82 84 86 88 90 92 94 96
C O N S C O N S F
Estimation of Multiple Linear
Regression Model
一,多元线性回归模型
二、多元线性回归模型的参数估计
三,OLS估计量的统计性质
四、参数估计量的方差 -协方差矩阵和随机误差项
?2方差的估计
五、样本容量问题
六,多元线性回归模型实例
一,多元线性回归模型
1、多元线性回归模型的形式
? 由于：
在实际经济问题中，一个变量往往受到多个原
因变量的影响；
“从一般到简单”的建模思路。
? 所以，在线性回归模型中的解释变量有多个，
至少开始是这样。这样的模型被称为 多元线性
回归模型 。
? 多元线性回归模型参数估计的原理与一元线性
回归模型相同，只是计算更为复杂。
? 多元线性回归模型的一般形式为：
习惯上把常数项看成为一个 虚变量 的系数, 在
参数估计过程中该虚变量的样本观测值始终取 1。
这样：
模型中解释变量的数目为 （ k+1） 。
ikikiii XXXY ????? ????????? 22110 i =1,2,?,n
(2, 3, 1 )
其中,k 为解释变量的数目；
? 多元线性回归模型的 矩阵表达式 为：
???? XY ( 2, 3, 2 )
其中
X ?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
1
1
1
11 21 1
12 22 2
1 2
1
x x x
x x x
x x x
k
k
n n kn
n k
?
?
? ? ? ?
?
( )
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
?
?
?
0
1
2
1 1
?
k
k( )
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
2
1
?
n
n
2、多元线性回归模型的基本假定
模型 (2.3.1)或 (2.3.2)在满足下述所列的 基本假设 的
情况下，可以采用 普通最小二乘法 （ OLS）估计参数。
关于经典回归模型的假定
标量符号
1,解释变量 kXXX,,,21 ? 是非随机的或固定的；而且各 X 之
间互不相关 （ 无多重共线性 (n o m u l t i c o l l i n e a r i t y ) ）
矩阵符号
1,
)1( ?? kn
矩阵 X 是非随机的；且 X 的秩
1)( ?? kX?
，此时
XX
T
也是满秩的
标量符号
2,随机误差项具有零均值、同方差及不序列相关
0)( ?
i
E ? ni,,2,1 ??
22
)()( ??? ??
ii
EV a r
ni,,2,1 ??
0)(),( ??
jiji
EC o v ????
ji ?
矩阵符号
2,
INNENE
T 2
)(,0)( ???
0
)(
)(
)(
11
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
nn
E
E
ENE
?
?
?
?
??
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
n
n
T
ENNE ??
?
?
??
1
1
)(
?
?
?
?
?
?
?
?
?
?
?
2
1
1
2
1
nn
n
E
???
???
?
???
?
I
2
2
2
0
0
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
?
标量符号
3,解释变量与随机项不相关
0),( ?
iji
XC o v ?
ni,,2,1 ??
矩阵符号
3, 0)( ?NXE
T
，即
0
)(
)(
)(
11
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
iKi
ii
i
iKi
ii
i
EX
EX
E
X
X
E
?
?
?
?
?
?
??
标量符号
4, （ 为了假设检验），随机扰动项服从正态分布
),0(~
2
?? N
i
ni,,2,1 ??
矩阵符号
4,向量 N 为一多维正态分布，即
),0(~
2
INN ?
二、多元线性回归模型的参数估计
1、普通最小二乘估计
? 普通最小二乘估计
随机抽取被解释变量和解释变量的 n 组样本观测值：
kjniXY jii ??,2,1,0,,,2,1),,( ??
如果模型的参数估计值已经得到，则有：
Kikiiii XXXY ???? ????? 22110 ????? ? i =1,2,?,n
( 2, 3, 3 )
根据最小二乘原理，参数估计值应该是下列方程组的解：
?
? ?
?
? ?
?
? ?
?
? ?
?
?
?
?
0
1
2
0
0
0
0
Q
Q
Q
Q
k
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
( 2, 3, 4 )
其中
2
11
2
)
?
(
??
??
???
n
i
ii
n
i
i
YYeQ
2
1
22110
))
????
((
?
?
??????
n
i
kikiii
YYYY ???? ?
( 2, 3, 5 )
于是，得到关于待估参数估计值的 正规方程组,
?
?
?
?
?
?
?
?
?
???????
???????
???????
???????
kiikikikii
iiikikiii
iiikikii
ikikii
XYXXXX
XYXXXX
XYXXXX
YXXX
)
????
(
)
????
(
)
????
(
)
????
(
22110
2222110
1122110
22110
????
????
????
????
?
?
?
?
?
( 2, 3, 6 )
解该 （ k + 1 ）个方程组成的线性代数方程组，即可得到
(k + 1 ) 个待估参数的估计值 ?,,,,,? j j k? 0 1 2 ? 。
（ 2, 3,6 ）的矩阵形式如下：
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
???
??
nknkk
n
kkiikiki
kiiii
kii
Y
Y
Y
XXX
XXX
XXXX
XXXX
XXn
?
?
????
?
?
?
?
????
?
?
2
1
21
112111
0
2
1
1
2
11
1
111
?
?
?
?
?
?
即：
YXXX ????
?
（ 2, 3,7 ）
由于 XX ? 满秩，故有
? ( )? ? ? ??X X X Y1 （ 2, 3,8 ）
? 估计过程的矩阵表示：
对于模型 ( 2, 3, 3 ) 式有：
? ?Y X? ?
被解释变量的观测值与估计值之差的平方和为：
Q e y yi
i
n
i i
i
n
? ? ?
? ?
? ?
2
1 1
2
( ? )
? ? ? ? ? ?e e Y X Y X(
?
) (
?
)? ?
其中
e ?
?
?
?
?
?
?
?
?
?
?
?
?
e
e
e
n
1
2
?
根据最小二乘原理，参数估计值应该是下列方程组的解：
?
? ?
( ? ) ( ? )
?
? ?Y X Y X? ? ? ? 0
求解过程如下：
0
?
0)
???
)'(2(
?
0)
???
2(
?
0)
????
(
?
0)
?
)(
?
(
?
??????
???? ??? ???
?
???? ??? ???
?
???? ??????? ???
?
????? ???
?
XXYX
XXYX'Y
XXXY'Y
XXXYYXYY
XYXY
Y
Y
?
?
?
?
?
?
?
?
即得到
? ? ?X Y X X ??
于是，参数的最小二乘估计值为：
? ( )? ? ? ??X X X Y1
2、最大或然估计
? Y的随机抽取的 n组样本观测值的联合概率
L P y y y
e
e
n
n
y x x x
n
n
i i i k ki
n
(
?
,) (,,,)
( )
( )
( (
? ? ? ?
))
(
?
) (
?
)
?
?
? ?
?
? ?
? ?
?
?
?
? ? ? ?
?
?
?
?
2
1 2
1
2
1
2
1
2
1
2
2
2 0 1 1 2 2
2
2
2
?
?
?
? ? ? ? ? ?
? ? ? ?
?
?
Y X Y X
? 对数或然函数为
? 参数的最大或然估计
? 结果与参数的普通最小二乘估计相同
L Ln L
nLn
*
'
( )
( ) ( ? ) ( ? )
?
? ? ? ? ?2
1
2 2
? ?
?
?
?
Y X Y X? ?
? ( )? ? ? ??X X X Y1
3、矩估计 (Moment Method,MM)
? 用每个解释变量分别乘以模型的两边，并对所有
样本点求和，即得到,? ?
? ?
? ?
? ?
y ( x x x )
y x x x x x
y x x x x x
y x x x
i i i k ki i
i i i i k ki i i
i i i i k ki i i
i ki i i
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ?
0 1 1 2 2
1 0 1 1 2 2 1
2 0 1 1 2 2 2
0 1 1 2 2
?
?
?
?
?
( )
( )
(
k ki i ki
x x?
?
?
?
?
?
?
?
?
? ? )
? 对每个方程的两边求期望，有：
E y E ( x x x )
E y x E x x x x
E y x E x x x x
E y x
i i i k ki i
i i i i k ki i i
i i i i k ki i i
i ki
( ) ( )
( ) ( ( ) )
( ) ( ( ) )
( )
? ?
? ?
? ?
?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
0 1 1 2 2
1 0 1 1 2 2 1
2 0 1 1 2 2 2
?
?
?
?
? ? ? ? ? ?
?
?
?
?
?
?
?
?
? E x x x x
i i k ki i ki
( ( ) )? ? ? ? ? ?
0 1 1 2 2
?
? 得到一组矩条件
? 求解这组矩条件，即得到参数估计量
? 与 OLS,ML估计量等价
? ?
? ?
? ?
? ?
y ( x x x )
y x x x x x
y x x x x x
y x x x
i i i k ki
i i i i k ki i
i i i i k ki i
i ki i
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ?
? ? ? ?
(
? ? ? ?
)
(
? ? ? ?
)
(
? ? ?
? ? ? ?
? ? ? ?
? ? ? ?
? ? ?
0 1 1 2 2
1 0 1 1 2 2 1
2 0 1 1 2 2 2
0 1 1 2
?
?
?
?
2 i k ki ki
x x? ?
?
?
?
?
?
?
?
?
? ?
?
)?
? 矩方法是工具变量方法 (Instrumental Variables,IV)
和广义矩估计方法 (Generalized Moment Method,
GMM)的基础
? 在矩方法中关键是利用了
? 如果某个解释变量与随机项相关，只要能找到 1个
工具变量，仍然可以构成一组矩条件。这就是 IV。
? 如果存在＞ k+1个变量与随机项不相关，可以构成
一组包含＞ k+1方程的矩条件。这就是 GMM。
kjxE jii,,2,1,0)( ????
4、多元回归方程及偏回归系数的含义
称为 多元回归方程 （ 函数 ） 。
在经典回归模型的诸假定下，式 （ 2,3,1 ）两边对 Y 求条
件期望得：
kikiikiiii XXXXXXYE ???? ????? ?? 2211021 ),,,|( （ 2, 3, 9 ）
多元回归分析 （ multiple regression analysis） 是以
多个解释变量的固定值为条件的回归分析, 并且所
获得的是诸变量 X值固定时 Y的平均值 。 诸 ?i称为 偏
回归系数 （ partial regression coefficients） 。
?偏回归系数 的含义如下：
?1度量着在 X2,X3,…,X k保持不变的情况下,X1
每变化 1个单位时,Y的均值 E(Y)的变化，或者说 ?1
给出 X1的单位变化对 Y均值的“直接”或“净”
（不含其他变量）影响。
其他参数的含义与之相同。
三,OLS估计量的统计性质
1,线性性
? ( )? ? ? ??X X X Y1 （ 2, 3, 10 ）
2,无偏性
BBE ?)?( (2, 3, 11 )
证,NXXXBNXBXXXYXXXB ???????????
??? 111
)()()()(
?
(2, 3,1 2 )
于是,BNEXXXBNXXXEBEBE ?????????
??
)()())(()()
?
(
11
3,最小方差性
若
*
B 是 B 的任一线性无偏估计量，则有
])?)(?[(]))([(
**
??????? BBBBEBBBBE ( 2, 3,1 3 )
证明略。
四、参数估计量的方差 -协方差矩阵
和随机误差项 ?2方差的估计
1、一个疑问与回答
? 疑问：在无偏性证明中将 参数估计量看作随机量，
而在正规方程组的推导中又将它看作确定值。如
何解释？
? 解释：将一组具体样本资料代入参数估计量的表
达式给出的参数估计结果是 一个, 估计值,,或
者, 点估计,,是参数估计量的一个具体数值，
是确定的；但从另一个角度，仅仅把它看成是参
数估计量的一个表达式，那么，则是被解释变量
观测值的函数，而被解释变量是随机变量，所以
参数估计量也是随机变量，在这个角度上,称之
为, 估计量, 。
2,参数估计量的方差 -协方差
? 将 参数估计量看作随机量，具有数字特征。
? 参数估计量的方差以及不同参数估计量之间的
协方差在模型理论中具有重要性。
? 具体描述如下：
主对角线给出了各参数估计 j?? 的方差，其余部分给出了不同
参数估计 i?? 与 j?? 的协方差，故称为参数估计向量 B ? 的 方差 -
协方差矩阵 。
由于矩阵
? ? ? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
kk
kk
EBBBBE ??????
??
??
??
???
?
?
?
)
?
)(
?
(
1100
11
00
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?????
?????
?????
?
2
1100
11
2
110011
001100
2
00
)
?
()
?
)(
?
()
?
)(
?
(
)
?
)(
?
()
?
()
?
)(
?
(
)
?
)(
?
()
?
)(
?
()
?
(
kkkkkk
kk
kk
EEE
EEE
EEE
??????????
??????????
??????????
?
????
?
?
(3, 1, 1 4 )
由 （ 2,3,8 ）式可得 B
?
的 方差 - 协方差矩阵的矩阵符号表
达式,
])
??
[()
?
c o v (v a r ????? BBB ) (BB E
}]] [ ({ [ ( ????????
??
BYXX)XBYXX)X
11
E
}]{[( ??????????
??
BN)( X BXX)XB ] [ (N)( X BXX)X
11
E
])[(}]{(
1????
??????????? XXX(NNXX)XNXX)XN [ (XX)X
111
EE
121
)()(
????
??????????? XXX(IXX)XXX) X (NE ( NXX)X
11
?
12
)(
?
?? XX?
( 2, 3, 1 5 )
记 ijc 为矩阵 1)( ?XX 中第 i行第 j 列元素，比较 （ 2.1.14）与
(2.1.15)式，知第 i个回归参数估计量 i? （ i=0,1,2,…, k）
的方差、标准差、协方差为,
iii c
2
)?v a r ( ?? ? （ 2, 3, 1 6 ）
iii c?? ?)?v a r ( (2, 3, 1 7 )
ijji c
2
)?,?c o v ( ??? ? （ 2, 3, 1 8 ）
3、随机误差项 ?2方差的估计
可以证明，随机误差项方差 2? 的无偏估计为：
1
?
1)1(
?
2
2
??
????
?
??
?
?
??
?
?
knknkn
e i YXBYYee
? （ 2,3, 1 9 ）
于是，参数估计量
i
?
?
的方差、标准差、协方差可分别用其
样本方差 )
?
(
2
i
S ?,标准差 )
?
(
i
S ?,协方差 ),
?
(
ji
SS ?? 加以估计：
ii
i
iii
c
kn
e
cS
1
?)
?
(
2
22
??
??
?
?? （ 2, 3, 2 0 ）
ii
i
iii
c
kn
e
cS
1
?)
?
(
2
2
??
??
?
?? （ 2, 3, 2 1 ）
ij
i
ijji
c
kn
e
cSS
1
?)
?
,
?
(
2
2
??
??
?
??? ji ? (2, 3, 2 2 )
关于 YXBYYee ?????? ? 的证明,
MY]YXX)XX([IYXX)XX(YBXYYYe
11
?????????????
??
??
MYMY( M Y ))( M Yee ??????
可以证明,)XX)XX((IM
1
????
?
为对称等幂矩阵，
即
MM ??
，
MM
2
?
，于是：
BXYYYYXX)XX(YYY
]YXX)XX([IYMYYee
1
1
?
??????????
????????
?
?
由于
BXY
?
?
为一数量，故 YXB)BXY(BXY ???????
???
，
于是：
YXBYYee ??????
?
五、样本容量问题
⒈ 最小样本容量
? 所谓, 最小样本容量,,即从最小二乘原理和
最大或然原理出发，欲得到参数估计量，不管
其质量如何，所要求的样本容量的下限。
? 样本最小容量必须不少于模型中解释变量的数
目（包括常数项）。
2、满足基本要求的样本容量
? 从参数估计角度：＞ 3× 解释变量数目
? 从检验的有效性角度：＞ 30
3、模型的良好性质只有在大样本下才能得
到理论上的证明
六,多元线性回归模型实例
中国消费函数模型
? 根据消费模型的一般形式，选择消费总
额为被解释变量，国内生产总值和前一
年的消费总额为解释变量，变量之间关
系为简单线性关系，选取 1981年至 1996
年统计数据为样本观测值。
? 中国消费数据表 单位：亿元 年 份 消费总额 国内生产总值 前一年消费额 年 份 消费总额 国内生产总值 前一年消费额
1981 3309 4901 2976 1989 10556 16466 9360
1982 3638 5489 3309 1990 11362 18320 10556
1983 4021 6076 3638 1991 13146 21280 11362
1984 4694 7164 4021 1992 15952 25864 13146
1985 5773 8792 4694 1993 20182 34501 15952
1986 6542 10133 5773 1994 27216 47111 20182
1987 7451 11784 6542 1995 34529 59405 27216
1988 9360 14704 7451 1996 40172 68498 34529
? 模型估计结果
D e p e n d e n t V a r i a b l e, C O N S
M e t h o d, L e a st S q u a r e s
D a t e, 0 2 / 2 5 / 0 3 T i m e, 1 7, 4 7
S a m p l e, 1 9 8 1 1 9 9 6
I n cl u d e d o b se r v a t i o n s,1 6
V a r i a b l e C o e f f i ci e n t S t d, E r r o r t - S t a t i st i c P r o b,
C 5 4 0, 5 2 8 6 8 4, 3 0 1 5 3 6, 4 1 1 8 4 8 0, 0 0 0 0
G D P 0, 4 8 0 9 4 8 0, 0 2 1 8 6 1 2 2, 0 0 0 3 5 0, 0 0 0 0
C O N S 1 0, 1 9 8 5 4 5 0, 0 4 7 4 0 9 4, 1 8 7 9 6 9 0, 0 0 1 1
R - sq u a r e d 0, 9 9 9 7 7 3 M e a n d e p e n d e n t v a r 1 3 6 1 8, 9 4
A d j u st e d R - sq u a r e d 0, 9 9 9 7 3 9 S, D, d e p e n d e n t v a r 1 1 3 6 0, 4 7
S, E, o f r e g r e ssi o n 1 8 3, 6 8 3 1 A ka i ke i n f o cr i t e r i o n 1 3, 4 3 1 6 6
S u m sq u a r e d r e si d 4 3 8 6 1 3, 2 S ch w a r z cr i t e r i o n 1 3, 5 7 6 5 2
L o g l i ke l i h o o d - 1 0 4, 4 5 3 3 F - st a t i st i c 2 8 6 8 2, 5 1
D u r b i n - W a t so n st a t 1, 4 5 0 1 0 1 P r o b ( F - st a t i st i c) 0, 0 0 0 0 0 0
? 拟合效果
0
10000
20000
30000
40000
50000
82 84 86 88 90 92 94 96
C O N S C O N S F
