Chapter 3
双变量回归：估计问题主讲：彭红枫武汉大学经济与管理学院金融系
Copyright? Hongfeng Peng 2006
Wuhan University
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
2
回顾回归分析的主要目的
根据 SRF去估计 PRF
12i i iY X u
12i i iY X u
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
3
3.1 OLS
在回归分析中,有多种构造 SRF的方法,而最广泛使用的是 OLS方法 (method of
ordinary least squares)
SRF又是怎样决定的呢?
12i i i i iY X u Y u
12 i i i i iu Y Y Y X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
4
即为实际值与估计值之差。
对于给定的 Y和 X的 n对观测值，我们希望这样决定 SRF，使得它尽可能靠近实际的 Y。
为达到此目的，我们可以采用如下准则
12 i i i i iu Y Y Y X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
5
可采用的准则
准则一：
()ii
iu Y Y 尽 可 能 小
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
6
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
7
可采用的准则
准则二（最小二乘准则）
因为
故只需对 求导，并令其等于零，便可解出 。
2 22
12i ( ) ( )i i i iu Y Y Y X= 尽 可 能 小
2
12i (,)uf
12及
12及
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
8
最小二乘法的数学原理
将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线，即拟合直线在总体上最接近实际观测点。
于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小的问题。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
9
求 解
2
22
12
i
2
2
12
i
2
12
1
2
12
2
( ) ( )
m in m in ( )
2 0 ( 1 )
2 0 ( 2 )
i i i i
ii
i
ii
i
i i i
u Y Y Y X
u Y X
YX
Y X X
u
u
=
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
10
正规方程
12
2
12
ii
i i i i
Y n X
Y X X X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
11
方程的解
2 2 2 2 2
12
( ) ( )
( ) ( )
i i i i i i i i
i i i i
n X Y X Y X X Y Y x y
n X X X X x
YX
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
12
正规方程的矩阵表示
12
2
12
1
2
2
1
1
2
2
ii
i i i i
ii
i i i i
ii
i i i i
n X Y
X X X Y
n X Y
X X X Y
n X Y
X X X Y
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
13
OLS估计量的性质
1,易计算性。 OLS估计量是纯粹由可观测的 (即样本 )
量表达的，因此这些量是容易计算的。
2、这些量是点估计量。即对于给定的样本，每一估计量仅提供有关总体参数的一个 (点 )值
3、一旦从样本数据得到 OLS估计值，便容易画出样本回归线 (图 3.1)。该回归线有如下性质：
– 它通过 Y和 X的样本均值；
– 估计的 Y均值等于实测的 Y均值；
– 残差估计量的均值为 0；
– 残差估计量和预测的 Y值不相关；
– 残差估计量和 X不相关。
12YX
YY?
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
14
3.2 经典线性回归模型,OLS
的基本假定
如果我们的目的仅仅是贝塔估计系数，
则第一节所用的方法就足够了，但我们的目的不仅仅是获得贝塔系数，而且要对真实的贝塔系数作出推断。
基于此，对解释变量和误差作出假定是必要的。
– 经典线性回归模型（ CLRM）
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
15
CLRM的假定
假定 1：线性回归模型
– 模型对参数是线性的
假定 2,X是非随机的
– 在重复抽样中,X值是固定的
假定 3：干扰项的均值为零。
( ) 0iiE u X?
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
16
干扰项的均值为零
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
17
CLRM的假定
假定 4：同方差性
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
18
异方差性
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
19
CLRM的假定
假定 5：干扰项无序列相关
假定 6,u和 X的协方差为零
c o v (,,) [ ( ) ] [ ( ) ] 0i j i j i i i j j ju u X X E u E u X u E u X
c o v (,) [ ( ) ] [ ( ) ] 0i i i i i i iu X E u E u X X E X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
20
CLRM的假定
假定 7：观测次数 n必须大于待估参数的个数
假定 8,X 的值要有变异性
假定 9：正确地设定了模型
假定 10：无多重共线性
– 解释变量之间没有完全的线性关系。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
21
CLRM可信吗？
计量经济学中的 CLRM相当于微观经济学中的完全竞争模型。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
22
3.3 OLS 估计的精度
OLS估计量随样本的变动而变动。
2
2 2
2
2
2
2
1 2
2
1 2
v a r ( )
()
v a r ( )
()
i
i
i
i
i
i
x
se
x
X
nx
X
se
nx
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
23
的估计
2?
2
2
2
iu
n
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
24
3.4 高斯 -马尔可夫定理
高斯 -马尔可夫定理：
– 在给定经典线性回归模型的假定下,OLS
估计量，在无偏线性估计量中，有最小方差，即 OLS估计量是最优线性无偏估计量
（ BLUE）。
BLUE
– 1、线性
– 2、无偏性
– 3、有效性（最小方差）
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
25
1、线性
线性指的是参数估计量是被解释变量的线性函数。
回归系数的估计量 =正规方程的解
从解的解析式，不难看出回归系数的估计量是被解释变量的线性组合。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
26
2、无偏性
无偏性指的是参数估计量的均值（数学期望）等于被估计的真值（模型中的参数）
11
22
E
E
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
27
3、有效性（最小方差）
有效性指的是：最小方差
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
28
3.5 拟合优度度量：判定系数 r2
拟合优度是指样本回归线与样本观测值之间的拟合程度。
r2与相关系数 r不同,
– 在回归分析中,r2是一个比 r更有意义的度量，因为前者告诉我们在因变量的变异中解释变量解释的那个部分所占的比例，即一个变量的变异在多大程度上决定另一个变量的变异,r2为其提供了一个总的度量。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
29
平方和分解
22
222
2
1 2 1 1 2
22 2 2
2 1 2
()
( ) ( )
()
()
ii
i i i
i
y Y Y
y Y Y Y Y
XX
X X x
×ü ·? oí ￡¨ T S S ￡? ￡o
22
)( YYy
ii
= êμ 2a μ? Y?μ?§èù?μ μ? ×ü ±? òì ￡?
a êí ·? oí ￡¨ E S S ￡? ￡o
22
)(? YYy
ii
= 1à μ? Y?μ?§èù?μ μ? ×ü ±?
òì ￡a ±? òì ê? óé?a êí ±? á? μ? ±ˉ?ù òy?e μ￡
2D 2 ·? oí ￡¨ R S S ￡? ￡o
22
)?(?
iii
YYu =?′ ±a êí μ§è× 1é μ? Y?μ
μ? ±? òì?￡
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
30
平方和分解
TSS=ESS+RSS
Y
Y
i
i
Y
Y
O X
i
X
i
u? = à′ ×? 2D 2?( Y
i
￡- Y )= ×ü à? 2?
(
i
Y
- Y )= à′ × 1é
SRF ￡o
1
+
2
i
X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
31
判定系数
判定系数 r2测度了在 Y的总变异中由回归模型解释的那部分所占的比例。
22
2
()
()
ii
ii
y Y YE S S
r
T S S y Y Y
2
2
2
11 i
i
uR S S
r
T S S y
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
32
习题
P77
3.19,3.22,3.26
双变量回归：估计问题主讲：彭红枫武汉大学经济与管理学院金融系
Copyright? Hongfeng Peng 2006
Wuhan University
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
2
回顾回归分析的主要目的
根据 SRF去估计 PRF
12i i iY X u
12i i iY X u
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
3
3.1 OLS
在回归分析中,有多种构造 SRF的方法,而最广泛使用的是 OLS方法 (method of
ordinary least squares)
SRF又是怎样决定的呢?
12i i i i iY X u Y u
12 i i i i iu Y Y Y X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
4
即为实际值与估计值之差。
对于给定的 Y和 X的 n对观测值，我们希望这样决定 SRF，使得它尽可能靠近实际的 Y。
为达到此目的，我们可以采用如下准则
12 i i i i iu Y Y Y X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
5
可采用的准则
准则一：
()ii
iu Y Y 尽 可 能 小
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
6
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
7
可采用的准则
准则二（最小二乘准则）
因为
故只需对 求导，并令其等于零，便可解出 。
2 22
12i ( ) ( )i i i iu Y Y Y X= 尽 可 能 小
2
12i (,)uf
12及
12及
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
8
最小二乘法的数学原理
将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线，即拟合直线在总体上最接近实际观测点。
于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小的问题。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
9
求 解
2
22
12
i
2
2
12
i
2
12
1
2
12
2
( ) ( )
m in m in ( )
2 0 ( 1 )
2 0 ( 2 )
i i i i
ii
i
ii
i
i i i
u Y Y Y X
u Y X
YX
Y X X
u
u
=
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
10
正规方程
12
2
12
ii
i i i i
Y n X
Y X X X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
11
方程的解
2 2 2 2 2
12
( ) ( )
( ) ( )
i i i i i i i i
i i i i
n X Y X Y X X Y Y x y
n X X X X x
YX
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
12
正规方程的矩阵表示
12
2
12
1
2
2
1
1
2
2
ii
i i i i
ii
i i i i
ii
i i i i
n X Y
X X X Y
n X Y
X X X Y
n X Y
X X X Y
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
13
OLS估计量的性质
1,易计算性。 OLS估计量是纯粹由可观测的 (即样本 )
量表达的，因此这些量是容易计算的。
2、这些量是点估计量。即对于给定的样本，每一估计量仅提供有关总体参数的一个 (点 )值
3、一旦从样本数据得到 OLS估计值，便容易画出样本回归线 (图 3.1)。该回归线有如下性质：
– 它通过 Y和 X的样本均值；
– 估计的 Y均值等于实测的 Y均值；
– 残差估计量的均值为 0；
– 残差估计量和预测的 Y值不相关；
– 残差估计量和 X不相关。
12YX
YY?
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
14
3.2 经典线性回归模型,OLS
的基本假定
如果我们的目的仅仅是贝塔估计系数，
则第一节所用的方法就足够了，但我们的目的不仅仅是获得贝塔系数，而且要对真实的贝塔系数作出推断。
基于此，对解释变量和误差作出假定是必要的。
– 经典线性回归模型（ CLRM）
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
15
CLRM的假定
假定 1：线性回归模型
– 模型对参数是线性的
假定 2,X是非随机的
– 在重复抽样中,X值是固定的
假定 3：干扰项的均值为零。
( ) 0iiE u X?
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
16
干扰项的均值为零
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
17
CLRM的假定
假定 4：同方差性
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
18
异方差性
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
19
CLRM的假定
假定 5：干扰项无序列相关
假定 6,u和 X的协方差为零
c o v (,,) [ ( ) ] [ ( ) ] 0i j i j i i i j j ju u X X E u E u X u E u X
c o v (,) [ ( ) ] [ ( ) ] 0i i i i i i iu X E u E u X X E X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
20
CLRM的假定
假定 7：观测次数 n必须大于待估参数的个数
假定 8,X 的值要有变异性
假定 9：正确地设定了模型
假定 10：无多重共线性
– 解释变量之间没有完全的线性关系。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
21
CLRM可信吗？
计量经济学中的 CLRM相当于微观经济学中的完全竞争模型。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
22
3.3 OLS 估计的精度
OLS估计量随样本的变动而变动。
2
2 2
2
2
2
2
1 2
2
1 2
v a r ( )
()
v a r ( )
()
i
i
i
i
i
i
x
se
x
X
nx
X
se
nx
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
23
的估计
2?
2
2
2
iu
n
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
24
3.4 高斯 -马尔可夫定理
高斯 -马尔可夫定理：
– 在给定经典线性回归模型的假定下,OLS
估计量，在无偏线性估计量中，有最小方差，即 OLS估计量是最优线性无偏估计量
（ BLUE）。
BLUE
– 1、线性
– 2、无偏性
– 3、有效性（最小方差）
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
25
1、线性
线性指的是参数估计量是被解释变量的线性函数。
回归系数的估计量 =正规方程的解
从解的解析式，不难看出回归系数的估计量是被解释变量的线性组合。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
26
2、无偏性
无偏性指的是参数估计量的均值（数学期望）等于被估计的真值（模型中的参数）
11
22
E
E
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
27
3、有效性（最小方差）
有效性指的是：最小方差
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
28
3.5 拟合优度度量：判定系数 r2
拟合优度是指样本回归线与样本观测值之间的拟合程度。
r2与相关系数 r不同,
– 在回归分析中,r2是一个比 r更有意义的度量，因为前者告诉我们在因变量的变异中解释变量解释的那个部分所占的比例，即一个变量的变异在多大程度上决定另一个变量的变异,r2为其提供了一个总的度量。
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
29
平方和分解
22
222
2
1 2 1 1 2
22 2 2
2 1 2
()
( ) ( )
()
()
ii
i i i
i
y Y Y
y Y Y Y Y
XX
X X x
×ü ·? oí ￡¨ T S S ￡? ￡o
22
)( YYy
ii
= êμ 2a μ? Y?μ?§èù?μ μ? ×ü ±? òì ￡?
a êí ·? oí ￡¨ E S S ￡? ￡o
22
)(? YYy
ii
= 1à μ? Y?μ?§èù?μ μ? ×ü ±?
òì ￡a ±? òì ê? óé?a êí ±? á? μ? ±ˉ?ù òy?e μ￡
2D 2 ·? oí ￡¨ R S S ￡? ￡o
22
)?(?
iii
YYu =?′ ±a êí μ§è× 1é μ? Y?μ
μ? ±? òì?￡
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
30
平方和分解
TSS=ESS+RSS
Y
Y
i
i
Y
Y
O X
i
X
i
u? = à′ ×? 2D 2?( Y
i
￡- Y )= ×ü à? 2?
(
i
Y
- Y )= à′ × 1é
SRF ￡o
1
+
2
i
X
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
31
判定系数
判定系数 r2测度了在 Y的总变异中由回归模型解释的那部分所占的比例。
22
2
()
()
ii
ii
y Y YE S S
r
T S S y Y Y
2
2
2
11 i
i
uR S S
r
T S S y
2009-7-27 Hongfeng Peng Department of
Finance,Wuhan University
32
习题
P77
3.19,3.22,3.26
