§ 2.2 一元线性回归模型的参数估计一、一元线性回归模型的基本假设二、参数的普通最小二乘估计（ OLS）
三、参数估计的最大或然法 (ML)
四、最小二乘估计量的性质五、参数估计量的概率分布及随机干扰项方差的估计单方程计量经济学模型分为两大类：
线性模型 和 非线性模型
线性模型中，变量之间的关系呈线性关系
非线性模型中，变量之间的关系呈非线性关系一元线性回归模型,只有一个解释变量
iii XY 10 i=1,2,…,n
Y为被解释变量,X为解释变量,?0与?1为 待估参数,?为 随机干扰项回归分析的主要目的 是要通过样本回归函数（模型） SRF尽可能准确地估计总体回归函数（模型） PRF。
估计方法 有多种，其种最广泛使用的是 普通最小二乘法 （ ordinary least squares,OLS）。
为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。
注,实际这些假设与所采用的估计方法紧密相关。
一、线性回归模型的基本假设假设 1,解释变量 X是确定性变量,不是随机变量；
假设 2,随机误差项?具有零均值,同方差和不序列相关性：
E(?i)=0 i=1,2,…,n
Var (?i)=2 i=1,2,…,n
Cov(?i,?j)=0 i≠j i,j= 1,2,…,n
假设 3、随机误差项?与解释变量 X之间不相关：
Cov(Xi,?i)=0 i=1,2,…,n
假设 4,?服从零均值、同方差、零协方差的正态分布
i~N(0,2 ) i=1,2,…,n
1,如果假设 1,2满足，则假设 3也满足 ;
2,如果假设 4满足，则假设 2也满足。
注意：
以上假设也称为线性回归模型的 经典假设或 高斯（ Gauss）假设,满足该假设的线性回归模型，也称为 经典线性回归模型 （ Classical
Linear Regression Model,CLRM）。
另外,在进行模型回归时，还有两个暗含的假设：
假设 5：随着样本容量的无限增加,解释变量 X的样本方差趋于一有限常数 。 即
nQnXX i,/)( 2
假设 6：回归模型是正确设定的假设 5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的 伪回归问题 （ spurious
regression problem）。
假设 6也被称为模型没有 设定偏误 （ specification error）
二、参数的普通最小二乘估计（ OLS）
给定一组样本观测值（ Xi,Yi）（ i=1,2,…n ）要求样本回归函数尽可能好地拟合这组值,
普通最小二乘法 （ Ordinary least squares,OLS）
给出的判断标准是：二者之差的平方和
n iiin i XYYYQ
1
2
10
2
1
))(()?(
最小。
方程组（ *）称为 正规方程组 （ normal equations） 。
记
2222 1)(
iiii XnXXXx
iiiiiiii YXnYXYYXXyx 1))((
上述参数估计量可以写成：
XY
x
yx
i
ii
10
21
称为 OLS估计量的 离差形式 （ deviation form）。
由于参数的估计结果是通过最小二乘法得到的，
故称为 普通 最小二乘估计量 （ ordinary least
squares estimators） 。
顺便指出,记 YYy
ii
则有
ini
ii
eXX
eXXy
1
1
1010
)(?
)()(?
可得
ii xy 1
（ **） 式也称为 样本回归函数 的 离差形式 。
（ **）
注意：
在计量经济学中，往往以小写字母表示对均值的离差。
三、参数估计的最大或然法 (ML)
最大或然法 (Maximum Likelihood,简称 ML)，
也称 最大似然法,是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。
基本原理,
对于 最大或然法,当从模型总体随机抽取 n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该 n组样本观测值的概率最大。
在满足基本假设条件下，对一元线性回归模型：
iii XY 10
随机抽取 n组样本观测值（ Xi,Yi）（ i=1,2,…n ）。
那么 Yi服从如下的正态分布：
),(~ 210 ii XNY?
于是,Y的概率函数为
2
102 )(2
1
2
1)( ii XY
i eYP
（ i=1,2,…n ）
假如模型的参数估计量已经求得，为因为 Yi是相互独立的，所以的所有样本观测值的联合概率，也即 或然函数 (likelihood function)为：
),,,(),?,?( 21210 nYYYPL
2
102
2
)(
2
1
)2(
1 ii
n
XY
n
e
将该或然函数极大化,即可求得到模型参数的极大或然估计量 。
由于或然函数的极大化与或然函数的对数的极大化是等价的,所以,取对数或然函数如下：
2
102
*
)(
2
1
)2l n (
)l n (
ii XYn
LL
解得模型的参数估计量为：
221
22
2
0
)(
)(
ii
iiii
ii
iiiii
XXn
XYXYn
XXn
XYXYX
可见,在满足一系列基本假设的情况下,
模型结构参数的 最大或然估计量 与 普通最小二乘估计量 是相同的 。
例 2.2.1,在上述家庭 可支配收入 -消费支出 例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表 2.2.1进行。
表 2,2,1 参数估计的计算表
i
X
i
Y
i
x
i
y
ii
yx
2
i
x
2
i
y
2
i
X
2
i
Y
1 800 594 - 1350 - 973 1314090 1822500 947508 640000 352836
2 1100 638 - 1050 - 929 975870 1102500 863784 1210000 407044
3 1400 1122 - 750 - 445 334050 562500 198381 1960000 1258884
4 1700 1155 - 450 - 412 185580 202500 170074 2890000 1334025
5 2000 1408 - 1 50 - 159 23910 22500 25408 4000000 1982464
6 2300 1595 150 28 4140 22500 762 5290000 2544025
7 2600 1969 450 402 180720 202500 161283 6760000 3876961
8 2900 2078 750 511 382950 562500 260712 8410000 4318084
9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225
10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900
求和 21500 15674 5769300 7425000 4590020 53650000 29157448
平均 2150 1567
777.074250005769300? 21
i
ii
x
yx?
1 7 2.1 0 32 1 5 07 7 7.01 5 6 7 00 XY
因此，由该样本估计的回归方程为：
ii XY 7 7 7.01 7 2.1 0 3
四、最小二乘估计量的性质当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。
一个用于考察总体的估计量，可从如下几个方面考察其优劣性：
（ 1）线性性,即它是否是另一随机变量的线性函数；
（ 2）无偏性,即它的均值或期望值是否等于总体的真实值；
（ 3）有效性,即它是否在所有线性无偏估计量中具有最小方差。
（ 4） 渐近无偏性,即样本容量趋于无穷大时,是否它的均值序列趋于总体真值；
（ 5） 一致性,即样本容量趋于无穷大时,它是否依概率收敛于总体的真值；
（ 6） 渐近有效性,即样本容量趋于无穷大时,是否它在所有的一致估计量中具有最小的渐近方差 。
这三个准则也称作估计量的 小样本性质。
拥有这类性质的估计量称为 最佳线性无偏估计量 （ best liner unbiased estimator,BLUE）。
当不满足小样本性质时，需进一步考察估计量的大样本 或 渐近性质,
高斯 — 马尔可夫定理 (Gauss-Markov theorem)
在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量 。
2,无偏性,即估计量 0,1 的均值（期望）等于总体回归参数真值? 0 与? 1
证,
iiiiiiiiii kXkkXkYk 10101 )(?
易知 0
2
i
i
i x
xk 1
ii Xk
故?
iik 11?
1111 )()()?( iiii EkkEE
同样地，容易得出
0000 )()()()?( iiii EwEwEE
3,有效性（最小方差性）,即在所有线性无偏估计量中，最小二乘估计量 0,1 具有最小方差。
( 1 ) 先 求 0 与 1 的 方 差
)v a r ()v a r ()v a r ()?v a r ( 21021 iiiiiii kXkYk
2
2
2
2
2
ii
i
xx
x
221020 )/1()v a r ()v a r ()?v a r ( iiiiii kXnXwYw
2
2
2
2222
2 211
21
i
i
iii x
xXkX
nnkXkXnn
2
2
2
2
2
22
2
2
21
i
i
i
i
i xn
X
xn
Xnx
x
X
n
（ 2）证明最小方差性假设 *1 是其他估计方法得到的关于? 1 的线性无偏估计量,
iiYc*1
其中,ci=ki+di,di为不全为零的常数则容易证明
)?v a r ()?v a r ( 1*1
同理,可 证 明? 0 的 最 小 二 乘 估 计 量 0 具 有 最 的 小 方 差普通最小二乘估计量 （ ordinary least Squares
Estimators）称为 最佳线性无偏估计量 （ best
linear unbiased estimator,BLUE）
由于最小二乘估计量拥有一个,好,的估计量所应具备的小样本特性，它自然也拥有大样本特性 。
)/l i m (
)/l i m (
)l i m ()l i m ()l i m ()?l i m (
21
2111
nxP
nxP
x
x
PPkPP
i
ii
i
ii
ii
111
0),(
QQ
XC ov
五、参数估计量的概率分布及随机干扰项方差的估计
1,参数估计量 0 和 1 的概率分布
),(~? 2
2
11?
ix
N ),(~? 2
2
2
00
i
i
xn
XN
22? /1 ix
2
22
0
i
i
xn
X?
2、随机误差项?的方差?2的估计由于随机项?i不可观测，只能从?i的估计 —— 残差 ei出发，对总体方差进行估计。
2又称为 总体方差 。
可以证明,?2的 最小二乘估计量 为
2?
2
2
n
e i?
它是关于?2的无偏估计量。
在 最大或然估计法 中,
因此,?2的最大或然估计量不具无偏性,
但却具有一致性 。
在随机误差项? 的方差? 2 估计出后，参数 0
和 1 的 方差 和 标准差 的估计量分别是,
1
的样本方差,
222
1
i
xS?
1
的样本标准差,
2
1
i
xS?
0
的样本方差,
2222
0
ii
xnXS?
0
的样本标准差,
22
0
ii
xnXS?
三、参数估计的最大或然法 (ML)
四、最小二乘估计量的性质五、参数估计量的概率分布及随机干扰项方差的估计单方程计量经济学模型分为两大类：
线性模型 和 非线性模型
线性模型中，变量之间的关系呈线性关系
非线性模型中，变量之间的关系呈非线性关系一元线性回归模型,只有一个解释变量
iii XY 10 i=1,2,…,n
Y为被解释变量,X为解释变量,?0与?1为 待估参数,?为 随机干扰项回归分析的主要目的 是要通过样本回归函数（模型） SRF尽可能准确地估计总体回归函数（模型） PRF。
估计方法 有多种，其种最广泛使用的是 普通最小二乘法 （ ordinary least squares,OLS）。
为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。
注,实际这些假设与所采用的估计方法紧密相关。
一、线性回归模型的基本假设假设 1,解释变量 X是确定性变量,不是随机变量；
假设 2,随机误差项?具有零均值,同方差和不序列相关性：
E(?i)=0 i=1,2,…,n
Var (?i)=2 i=1,2,…,n
Cov(?i,?j)=0 i≠j i,j= 1,2,…,n
假设 3、随机误差项?与解释变量 X之间不相关：
Cov(Xi,?i)=0 i=1,2,…,n
假设 4,?服从零均值、同方差、零协方差的正态分布
i~N(0,2 ) i=1,2,…,n
1,如果假设 1,2满足，则假设 3也满足 ;
2,如果假设 4满足，则假设 2也满足。
注意：
以上假设也称为线性回归模型的 经典假设或 高斯（ Gauss）假设,满足该假设的线性回归模型，也称为 经典线性回归模型 （ Classical
Linear Regression Model,CLRM）。
另外,在进行模型回归时，还有两个暗含的假设：
假设 5：随着样本容量的无限增加,解释变量 X的样本方差趋于一有限常数 。 即
nQnXX i,/)( 2
假设 6：回归模型是正确设定的假设 5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的 伪回归问题 （ spurious
regression problem）。
假设 6也被称为模型没有 设定偏误 （ specification error）
二、参数的普通最小二乘估计（ OLS）
给定一组样本观测值（ Xi,Yi）（ i=1,2,…n ）要求样本回归函数尽可能好地拟合这组值,
普通最小二乘法 （ Ordinary least squares,OLS）
给出的判断标准是：二者之差的平方和
n iiin i XYYYQ
1
2
10
2
1
))(()?(
最小。
方程组（ *）称为 正规方程组 （ normal equations） 。
记
2222 1)(
iiii XnXXXx
iiiiiiii YXnYXYYXXyx 1))((
上述参数估计量可以写成：
XY
x
yx
i
ii
10
21
称为 OLS估计量的 离差形式 （ deviation form）。
由于参数的估计结果是通过最小二乘法得到的，
故称为 普通 最小二乘估计量 （ ordinary least
squares estimators） 。
顺便指出,记 YYy
ii
则有
ini
ii
eXX
eXXy
1
1
1010
)(?
)()(?
可得
ii xy 1
（ **） 式也称为 样本回归函数 的 离差形式 。
（ **）
注意：
在计量经济学中，往往以小写字母表示对均值的离差。
三、参数估计的最大或然法 (ML)
最大或然法 (Maximum Likelihood,简称 ML)，
也称 最大似然法,是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。
基本原理,
对于 最大或然法,当从模型总体随机抽取 n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该 n组样本观测值的概率最大。
在满足基本假设条件下，对一元线性回归模型：
iii XY 10
随机抽取 n组样本观测值（ Xi,Yi）（ i=1,2,…n ）。
那么 Yi服从如下的正态分布：
),(~ 210 ii XNY?
于是,Y的概率函数为
2
102 )(2
1
2
1)( ii XY
i eYP
（ i=1,2,…n ）
假如模型的参数估计量已经求得，为因为 Yi是相互独立的，所以的所有样本观测值的联合概率，也即 或然函数 (likelihood function)为：
),,,(),?,?( 21210 nYYYPL
2
102
2
)(
2
1
)2(
1 ii
n
XY
n
e
将该或然函数极大化,即可求得到模型参数的极大或然估计量 。
由于或然函数的极大化与或然函数的对数的极大化是等价的,所以,取对数或然函数如下：
2
102
*
)(
2
1
)2l n (
)l n (
ii XYn
LL
解得模型的参数估计量为：
221
22
2
0
)(
)(
ii
iiii
ii
iiiii
XXn
XYXYn
XXn
XYXYX
可见,在满足一系列基本假设的情况下,
模型结构参数的 最大或然估计量 与 普通最小二乘估计量 是相同的 。
例 2.2.1,在上述家庭 可支配收入 -消费支出 例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表 2.2.1进行。
表 2,2,1 参数估计的计算表
i
X
i
Y
i
x
i
y
ii
yx
2
i
x
2
i
y
2
i
X
2
i
Y
1 800 594 - 1350 - 973 1314090 1822500 947508 640000 352836
2 1100 638 - 1050 - 929 975870 1102500 863784 1210000 407044
3 1400 1122 - 750 - 445 334050 562500 198381 1960000 1258884
4 1700 1155 - 450 - 412 185580 202500 170074 2890000 1334025
5 2000 1408 - 1 50 - 159 23910 22500 25408 4000000 1982464
6 2300 1595 150 28 4140 22500 762 5290000 2544025
7 2600 1969 450 402 180720 202500 161283 6760000 3876961
8 2900 2078 750 511 382950 562500 260712 8410000 4318084
9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225
10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900
求和 21500 15674 5769300 7425000 4590020 53650000 29157448
平均 2150 1567
777.074250005769300? 21
i
ii
x
yx?
1 7 2.1 0 32 1 5 07 7 7.01 5 6 7 00 XY
因此，由该样本估计的回归方程为：
ii XY 7 7 7.01 7 2.1 0 3
四、最小二乘估计量的性质当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。
一个用于考察总体的估计量，可从如下几个方面考察其优劣性：
（ 1）线性性,即它是否是另一随机变量的线性函数；
（ 2）无偏性,即它的均值或期望值是否等于总体的真实值；
（ 3）有效性,即它是否在所有线性无偏估计量中具有最小方差。
（ 4） 渐近无偏性,即样本容量趋于无穷大时,是否它的均值序列趋于总体真值；
（ 5） 一致性,即样本容量趋于无穷大时,它是否依概率收敛于总体的真值；
（ 6） 渐近有效性,即样本容量趋于无穷大时,是否它在所有的一致估计量中具有最小的渐近方差 。
这三个准则也称作估计量的 小样本性质。
拥有这类性质的估计量称为 最佳线性无偏估计量 （ best liner unbiased estimator,BLUE）。
当不满足小样本性质时，需进一步考察估计量的大样本 或 渐近性质,
高斯 — 马尔可夫定理 (Gauss-Markov theorem)
在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量 。
2,无偏性,即估计量 0,1 的均值（期望）等于总体回归参数真值? 0 与? 1
证,
iiiiiiiiii kXkkXkYk 10101 )(?
易知 0
2
i
i
i x
xk 1
ii Xk
故?
iik 11?
1111 )()()?( iiii EkkEE
同样地，容易得出
0000 )()()()?( iiii EwEwEE
3,有效性（最小方差性）,即在所有线性无偏估计量中，最小二乘估计量 0,1 具有最小方差。
( 1 ) 先 求 0 与 1 的 方 差
)v a r ()v a r ()v a r ()?v a r ( 21021 iiiiiii kXkYk
2
2
2
2
2
ii
i
xx
x
221020 )/1()v a r ()v a r ()?v a r ( iiiiii kXnXwYw
2
2
2
2222
2 211
21
i
i
iii x
xXkX
nnkXkXnn
2
2
2
2
2
22
2
2
21
i
i
i
i
i xn
X
xn
Xnx
x
X
n
（ 2）证明最小方差性假设 *1 是其他估计方法得到的关于? 1 的线性无偏估计量,
iiYc*1
其中,ci=ki+di,di为不全为零的常数则容易证明
)?v a r ()?v a r ( 1*1
同理,可 证 明? 0 的 最 小 二 乘 估 计 量 0 具 有 最 的 小 方 差普通最小二乘估计量 （ ordinary least Squares
Estimators）称为 最佳线性无偏估计量 （ best
linear unbiased estimator,BLUE）
由于最小二乘估计量拥有一个,好,的估计量所应具备的小样本特性，它自然也拥有大样本特性 。
)/l i m (
)/l i m (
)l i m ()l i m ()l i m ()?l i m (
21
2111
nxP
nxP
x
x
PPkPP
i
ii
i
ii
ii
111
0),(
XC ov
五、参数估计量的概率分布及随机干扰项方差的估计
1,参数估计量 0 和 1 的概率分布
),(~? 2
2
11?
ix
N ),(~? 2
2
2
00
i
i
xn
XN
22? /1 ix
2
22
0
i
i
xn
X?
2、随机误差项?的方差?2的估计由于随机项?i不可观测，只能从?i的估计 —— 残差 ei出发，对总体方差进行估计。
2又称为 总体方差 。
可以证明,?2的 最小二乘估计量 为
2?
2
2
n
e i?
它是关于?2的无偏估计量。
在 最大或然估计法 中,
因此,?2的最大或然估计量不具无偏性,
但却具有一致性 。
在随机误差项? 的方差? 2 估计出后，参数 0
和 1 的 方差 和 标准差 的估计量分别是,
1
的样本方差,
222
1
i
xS?
1
的样本标准差,
2
1
i
xS?
0
的样本方差,
2222
0
ii
xnXS?
0
的样本标准差,
22
0
ii
xnXS?
