1
第四章 最小二乘法（二）
两个自变量的最小二乘法
2
问题的提出
? 现实生活中引起因变量变化的因素并非
仅只一个自变量，可能有很多个自变量。
为了简便先讨论只有两个自变量的线性
模型。
? 例如，产出往往受各种投入要素 ——资
本、劳动、技术等的影响；销售额往往
受价格和公司对广告费的投入的影响。
? 所以在一元线性模型的基础上，提出了
二元线性模型,Yi=a+b1Xi1+b2Xi2+ui
3
解决问题的思路
? 在二元模型中要估计的乃是一个平面。
? 选取最好“平面”的准则，仍然是实际
点到拟合平面（通常仍称它为拟合直线）
的纵向距离最小 ——拟合值尽可能逼近
真值，即使残差（实际值减去拟合直线
上对应的 Y^值）的平方和最小。
? 于是将问题转化为一个求极值的数学问
题。
4
第一节 含两个自变量的
最小二乘法
原始数据的矩阵表示
数学原理
正规方程
正规方程的解
正规方程解的行列式表示
最小二乘法的矩阵表示
一元原始数据
? ?
? ???
?
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??????????
?
xx
x
xx
xx
x
xxx
yx
y
u
u
u
x
x
x
y
y
y
uxy
ii
i
ii
ii
i
n
i
i
i
nn
n
ii
i
n
n
XX
n
XXX
YXu
b
a
BXY
BXYuYYuXBYba
2
2
2
1
2
21
2
1
2
1
2
1
111
,,
1
1
1
,
???
?
?
????
模型：
原始数据的矩阵表示
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???????????
???
???
??
?
?
?
xxxx
xxxx
xx
xxx
xxx
yx
yx
y
u
u
u
b
b
xx
xx
xx
y
y
y
uxbxby
iiii
iiii
ii
n
n
i
i
i
i
i
nnn
n
iii
i
n
XXX
YXu
a
BXY
BXYuYYuXBYa
2
2212
21
2
11
21
22212
12111
2
1
2
1
2
1
21
2221
1211
2
1
2211
111
,,
1
1
1
,
???
?
?
?
?????
模型：
7
数学原理
? ? ? ?? ?
? ?? ?
? ? ? ?
? ?? ?
? ? ? ? ? ?
? ?? ?
? ? ? ? ? ? ????
? ???
????
? ???
???
? ???
? ???? ??
?????
?
?
?????
?
?
?????
?
?
???
???????
????
yxbxbxxx
b
xbxbay
yxbxxbxx
b
xbxbay
ybxbx
xbxbay
xbxbayyyu
yyuuyyx
bxb
y
uxbxby
i
iiiii
ii
i
iiiii
ii
i
ii
ii
iii
ii
ii
ii
ii
i
iii
i
a
a
na
a
ii
M i n
a
a
22
2
21212
2
2
2
1
1
2
12211
2
11
1
2
2
1
1
2
2211
2
2
1
1
2
2
2
1
1
22
2
2
2
1
1
2211
0
0
0
?
???
???
???
?????
???????
模型：
正规方程
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ?? ? ? ?? ?
? ?? ? ? ? ? ?? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??????
??????
???
???
???
???
?
?
??
??
???
???
?? ??
??? ?
????
????
???
y
y
y
y
y
y
ya
a
a
na
x
x
b
b
xxx
xxx
xbxbxx
xbxxbx
yxx
bxxbxxxx
yxx
bxxxxbxx
xbxb
yxbxbxxx
yxbxxbxx
ybxbx
i
iiiii
i
iiiii
i
iiiii
i
iiiii
i
ii
?
?
?
?
?
?
???
???
????
????
2
1
2
1
2
221
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
22
2
11
2
1
2211
11
2
2211
1
11
2
2
2
1
1
22
2
21212
12211
2
11
2211
?
?
??
??
??
??
??
)8(
)7(
)6(
)5(
324
)4(?1
)3(
)2(
)1(
简记为：
）式，经整理得：）、（）式代入（将（
）式解得：由（
正规方程：
9
正规方程的矩阵表示
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? YXXXBYXBXX
an
a
a
na
yx
yx
y
b
b
xxxx
xxxx
xx
yxbxbxxx
yxbxxbxx
ybxbx
i
i
i
i
i
iiii
iiii
ii
i
iiiii
i
iiiii
i
ii
???????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
???
???
?
?
?
?
???
???
??
????
????
???
1
2
1
2
1
2
2212
21
2
11
21
22
2
21212
12211
2
11
2211
)3(
)2(
)1(
即
：正规方程的矩阵表示为
正规方程：
10
正规方程的解
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
)6(
)5(
324
)4(?1
)3(
)2(
)1(
2211
2
22
2
11
2
1122112211
2
2
2211
2
22
2
11
2
2222111122
2
1
2
2
1
1
22
2
21212
12211
2
11
2211
?
?
??
? ? ????
? ? ? ??
? ? ????
? ? ? ??
????
????
???
??
???????
?
??
???????
?
???
???
???
???
xxxxxxxx
yxxxxxxyxxxx
b
xxxxxxxx
yxxxxxxyxxxx
b
xbxb
yxbxbxxx
yxbxxbxx
ybxbx
iiiii
i
iiii
i
ii
iiiii
i
iiii
i
ii
i
iiiii
i
iiiii
i
ii
yy
yy
ya
a
a
na
）式，经整理得：）、（）式代入（将（
）式解得：由（
正规方程：
11
正规方程解的行列式表示
离均差。请注意，这里使用的是
的正规方程组：消去
xbxb
xxx
xxx
x
x
x
xx
b
xxx
xxx
x
xx
x
x
b
x
x
b
b
xxx
xxx
xbxbxx
xbxxbx
ya
y
y
Y
y
y
y
y
y
a
2
2
1
1
2
121
21
2
1
2
1
2
1
21
2
2
121
21
2
1
2
2
21
2
1
1
2
1
2
1
2
121
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
????
?
?
??
??
?
)2(
)1(
?
?????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
??
?
?
?
?
??
??
?
?
?
?
?
?
??
??
???
???
???
???
?
?
?
??
???
???
?
??
?
?
?
?
???
???
????
????
?
??
?
?
?
?
简化了正规方程的矩阵表示
? ?
? ?
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ??
? ??
? ??
? ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ??
?
?
?
?
?
?
?
?
???
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
???
?
? ?
?
??
?
?
?
?
?
?
?
?
?
?
??
??
?
?
?
?
?
?
?
?
?
??
??
?
?
??
??
???
???
?
?
xx
yy
xx
yy
y
y
xx
y
y
y
y
aya
xx
xxxxx
xx
xxxxx
x
x
xxx
xxx
b
b
xx
xxx
xxx
xxx
xxx
x
x
b
b
xxx
xxx
xbxbxx
xbxxbx
xbxb
??
??
??
??
?
?
??
?
?
?
?
??
?????
??
?????
?
?
???
???
??
???
???
???
???
?
?
???
???
????
????
21
2
2
2
2
1
1212
2
1
21
2
2
2
2
1
2211
2
2
2
1
2
221
21
2
1
1
2
1
21
2
2
2
2
1
2
121
21
2
2
2
221
21
2
1
1
2
1
2
1
2
221
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
2
2
1
1
?
?
?
?
??
??
??,??1,并简记为代回去，消去）式解得：由正规方程（
最小二乘法的矩阵表示
? ? ? ?
? ?
? ?
? ? ? ?
? ? ? ? ? ?
? ?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
???
???????????
??????
?
????????
?
?
?
?????????????????
???
?
???????????????
????
?????????
??
?
?
??
??
?
?
?
?
?
???
yx
y
YX
n
n
XX
n
XX
ba
YXXXBYXXXXBXXXYXXBX
XBXYX
B
BXXBYBXYY
B
XBBXYXBYYM i nBXXBYXBYY
YXB
BXY
BXXBYXBBXYYYBXYBXYuu
XBYuXBYu
uYYuXBYa
i
i
i
ii
i
i
ii
ii
i
ii
i
i
i
X n n XXXX n n XXX
i
iii
i
xx
x
x
xx
xx
x
uxy
u
u
u
uxbxby
2
2
1
2
111
2
2
133113311111
2
2211
022
???
2
???
2m i n
???
2
?
?
'
??????
'
??
?
?
?
?
?
?
?
为例：以一元模型
是一个数
模型：
14
原始数据的矩阵表示
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???????
???
???
??
xxxx
xxxx
xx
xxx
xxx
u
u
u
b
b
xx
xx
xx
y
y
y
uxbxby
iiii
iiii
ii
n
n
nnn
n
iii
i
n
XXX
u
a
BXY
uXBYa
2
2212
21
2
11
21
22212
12111
2
1
2
1
21
2221
1211
2
1
2211
111
1
1
1
?
?
?
?????
模型：
15
简化 ——中心化处理
? ? YXXXBYXBXXuuM i n
BXYuXBYy
XXX
uBX
y
y
y
Y
a
uxxbxxby
xxx
xxx
xxxxxx
xxxxxx
u
u
u
b
b
xx
xx
xx
xx
xx
xx
y
y
y
uxbxby
iii
i
iii
iii
n
n
nnn
n
iii
i
?????????
??????????
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
???
???
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
?
??
??
1
222111
2
221
21
2
1
22222212
11121111
2
1
2
1
22
222
212
11
121
111
2
1
2211
??
)(
??
)()(
???
???
?
?
????
中心化原模型：
? ?
? ?
? ?
? ?
? ?? ??
? ? ? ?
? ??
? ? ? ?
?
?
? ??
??
??
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
?????????
???????????
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
???
???
??
?
?
xxxx
xxxxx
b
xxxx
xxxxx
b
x
x
xxxx
xxx
xxx
uxxbxxby
xxx
xxx
xxxxxx
xxxxxx
iiii
iii
iiii
iii
iiii
iii
iii
iii
i
iii
iii
n
n
yy
yy
y
y
YXXX
YXXXBYXBXXuuM i n
BXYuXBYy
XXX
????
?????
????
?????
?
?
????
???
???
???
???
??
??
?
?
?
?
21
2
2
2
2
1
1212
2
1
2
21
2
2
2
2
1
2211
2
2
1
2
1
21
2
2
2
2
1
2
121
21
2
2
1
1
222111
2
221
21
2
1
22222212
11121111
?
?
??
)(
??
)()(
17
销售额 SALES与价格 PRICE、
广告费 ADS之间的关系
SALES ADS PRICE
y x1 x2
1 36 56.7 12.0
2 48 63.9 9.0
3 45 62.7 11.0
4 40 59.7 13.0
5 30 55.9 14.5
6 56 68.7 9.5
7 63 69.2 7.5
8 53 65.5 11.0
9 61 69.4 9.0
10 68 73.4 8.5
11 66 74.1 10.0
12 65 74.4 9.5
obs
18
手工计算步骤
? （ 1）对照公式计算各个离均差求和项
? （ 2）代入公式
? （ 3）掌握公式用行列式表现的形式
19
EViews计算步骤
? （ 1）生成由 SALES、价格 PRICE、广告费 ADS构成的
组，并对组命名
? （ 2）观察它们的协方差矩阵、相关系数矩阵
? （ 3）分别观察销售额 SALES与价格 PRICE和广告费
ADS的散点图
? （ 4）选择 PROCE中的 EQUATION得到估计结果
– 注意设计估计方程的两种形式
? （ 5）熟悉各个统计量的意义
– 拟合优度,F、偏回归系数、系数的标准误,t、概
率
? （ 6）观察方程的各种表现形式
20
拟合直线方程的建立
? （ 7）将估计结果复制到研究报告中
Estimation Command:
=====================
LS SALES ADS PRICE C
Estimation Equation:
=====================
SALES = C(1)*ADS + C(2)*PRICE + C(3)
Substituted Coefficients:
=====================
SALES = 1.6097306*ADS - 1.3069856*PRICE - 40.313541
21
销售额、广告费、价格模型的
经济意义
? 请同学们回答！
22
偏回归系数的意义
? 在价格 PRICE保持不变的条件下，广告
费 ADS变化一个单位将引起销售额
SALES平均变化 b1= 1.6097306个单位；
? 在广告费 ADS保持不变的条件下，价格
PRICE变化一个单位将引起销售额
SALES平均变化 b2= - 1.3069856个单位。
拟合优度与 F检验
? ? ? ? ? ?
? ? ? ?
? ? ? ?
? ?
? ? ? ?
?
?
?
?????
??
??
????
??
?
??
?
??
??
??
?????
? ???? ?
? ???? ?
? ?? ?? ?
1
10:
1
00:
21/
2/
1
2
0
2
0
2
2 21 1
22
2 21 1
22
222
????
????
??
性为回归方程有意义的可靠
整个如果远远地大于不成立零假设
是一样的
的分子与分母动项的作用没有区别即它们的作用与随机扰
作用所有自变量对因变量无成立零假设
统计量
拟合优度
FRH
RH
R
x
b
x
b
ayyy
yx
b
x
b
ayy
yyyyyy
FF
F
F
R S S
nE S S
R S S
FF
T S S
E S S
T S S
E S ST S S
T S S
R S S
E S S
R S S
R S SE S ST S S
ii ii
iii
iiii
24
关于 F检验
? 零假设 H0,b1=b2=0 备择 HA,至少一个不为 0
? H0,b1=b2=0 <==>RSS中的 X1,X2不起作用，
RSS变动无异于随机变动 ==>
? 分子方差与分母方差是一回事 ==>F=1
? 如果 F显著地大于 1，甚至 F>F?==>小概率事件发生了，
根据小概率原理，在一次试验中小概率事件是不可能
发生的，居然发生了，错在哪儿？原来是 H0不成立。
于是,就不能认为 X1,X2 同时没有作用（但并不排除
其中一个无意义）。则直线是有意义的。可靠性 =1- ?
成立成立,HFH
s
s
A
e
r FF
n
E S S
R S S
F,1
3
2
02
2
?
????
?
?
25
EVIEWS输出的估计结果
? 共分 3个部分，顶部处理信息：
LS // Dependent Variable is SALES
Date,03/26/99 Time,21:14
Sample,1 12
Included observations,12
观察值个数 n
方法 因变量是谁
样本范围
26
EVIEWS输出的估计结果
? 共分 3部，底部为描述统计量和检验统计量
R-squared 0.982691 Mean dependent var 52.58333
Adjusted R-squared 0.978845 S.D,dependent var 12.73833
S.E,of regression 1.852775 Akaike info criterion 1.445687
Sum squared resid 30.89497 Schwartz criterion 1.566913
Log likelihood -22.70138 F-statistic 255.4816
Durbin-Watson stat 1.473207 Prob(F-statistic) 0
? ?
11
? 2
??
?
??
? ?
kn
E SS
kn
yy ii
? ? E S Suyy iii ?? ?? ? ?? 22 )1/( / ?? knE S S kR S S
? ?
11
2
???
? ?
n
T SS
n
yy i
27
R-squared 0.982691 Mean dependent var 52.58333
Adjusted R-squared 0.978845 S.D,dependent var 12.73833
S.E,of regression 1.852775 Akaike info criterion 1.445687
Sum squared resid 30.89497 Schwartz criterion 1.566913
Log likelihood -22.70138 F-statistic 255.4816
Durbin-Watson stat 1.473207 Prob(F-statistic) 0
? ?
? ? T S S
R S S
yy
yy
i
i ?
? ?
? ?
2
2?
? ? E S Suyy iii ?? ?? ? ?? 22
)1/(
/
?? knE S S
kR S S
ny
y i??
28
EVIEWS输出的估计结果
? 共分 3部分，中部关于系数的估计及其检
验
Variable Coefficient Std,Error T-Statistic Prob,
ADS 1.609731 0.139864 11.50924 0
PRICE -1.306986 0.451096 -2.897359 0.0177
C -40.31354 13.26641 -3.038767 0.014
b?1 ? ?
bVar ?1 )(
0
?
?
1
1
b
b
V a r
t
?
?
xbxbya 2211 ??? ??? 根据前栏 t值和自由度查出的概率
29
建立回归方程
Estimation Command:
=====================
LS SALES ADS PRICE C
Estimation Equation:
=====================
SALES = C(1)*ADS + C(2)*PRICE + C(3)
Substituted Coefficients:
=====================
SALES = 1.6097306*ADS - 1.3069856*PRICE - 40.313541
30
拟合回归“直线”的性质
? 1．残差和等于零，残差的均值为 0；
? 2．拟合值的均值等于因变量的实际均值；
? 3．残差与每一个自变量都不相关；
? 4．残差与拟合值不相关
0?0? 2 ??? uu i
? ? 0??0,c o v,?? ?? ? uy
ii
uy ii
? ? ? ? 0,,?? 21 ?? uxux iiii C O VC O V
yy ??
31
第二节 二元回归最小二乘法解
法又探
? 偏回归系数与相关系数间的关系
? 1．两个自变量的相关系数 =0时
? 2．两个自变量的相关系数 =1时
? 3．相关系数不等于 0时
? 3．两个自变量对 Y的作用路径
? X1,X2对 Y作用的图解
? 4．应当将其它自变量的作用分离出来，
以利于分析和解释
偏回归系数与相关系数间的关系
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
? ?? ? ? ?
? ?? ?
? ? ? ?
? ?? ?? ?
? ? ? ?
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ?
? ?? ?? ?
? ? ? ?
? ? ? ?? ? ? ? ? ?? ?
? ? ? ?? ? ??
? ? ??
? ?
? ? ??
??
??
? ? ? ??
? ? ??
? ??
? ? ??
?
?
? ? ????
? ? ? ??
?
?
?
?
?
?
?
?????
?
?
?
?
?
?
?
?
?
?
?
???????
?
?
??
?
???
??
???????
?
?
??
2
,
22
2
11
2
22211122
2
1
22
2
11
2
2211
2
22
2
11
2
2222111122
2
1
22
2
11
2
2
2
,
22
2
11
2
2211
,
212211
2211
2
22
2
11
2
2222111122
2
1
21
2121
1
,
1
2211
,
?
?
?
xx
yn C O Vy
yy
iii
xxxx
n C O V
yy
ii
iiii
xxxx
yxxxxyxxxx
b
xxxx
xxxx
xxxx
yxxxxxxyxxxx
b
xxxx
xxxx
xxxx
xxxx
xxxxxx
xxxxxxxx
yxxxxxxyxxxx
b
ii
i
iii
i
ii
ii
iii
ii
i
iiii
i
ii
ii
ii
iii
iiiii
iiiii
i
iiii
i
ii
1．两个自变量的相关系数 =0时
? 二元回归方程中的系数等于一元回归方程中的系数
? ?? ?
? ?
? ? ? ?? ? ? ? ? ?? ?
? ? ? ?
? ?
? ? ? ?? ?
? ? ? ?
? ?? ?
? ?
bb
xx
yxx
xxxx
yxxxx
b
xx
xxxx
yxxxxyxxxx
b
xbxby
xx
yxx
bxb
y
i
i
i
ii
i
ii
ii
ii
i
iii
i
ii
ii
i
i
i
i
i
i
yy
C O V
xx
xx
yn C O Vy
a
y
a
ii
ii
?
? ?
?
? ? ??
? ??
? ? ??
? ? ??
? ?
?
??
??
??
?
??
?
??
?
?
?
?
?
?
?
?????
?
????
??
????
??
?
?
??
??
11
11
2
11
22
2
11
2
1111
2
1
21
,
2
,
22
2
11
2
22211122
2
1
2
2
1
1
11
2
11
1
1
1
0,0
1
,
?
?
21
21
时当
中：在二元模型
中：在一元模型
?
?
2．两个自变量的相关系数 =1时
? 存在多重共线，无法对回归系数进行估
计 ? ? ? ?? ? ? ? ? ?? ?
? ? ? ?
。，自变量之间完全相关这就是所谓的多重共线
，从而无法将估计出。分母时，当 ????
??
?
??
?
?
?????
?
? ? ??
? ? ??
1
1
,
21
21
,
2
,22
2
11
2
22211122
2
1
?
?
?
xx
xx
yn C O Vy
ii
ii
xxxx
yxxxxyxxxx
b
ii
iiiiiii
35
3．相关系数不等于 0也不等于 1时
? 二元回归方程中的系数与一元回归方程
中的系数谁大谁小，取决于公式中两个
自变量间协方差等的符号和大小
? 相关系数 =0，各个自变量的系数直接说
明了它们对因变量的影响。
? 相关系数 <>0，又不等于 1，最好将两个
自变量间的相互作用分离开来，以便于
自变量对因变量作用的解释。
36
3．两个自变量对 Y的作用路径
? （ 1） X1本身对 Y的净作用
? （ 2） X1的变化引起 X2的变化（因为存
在相关），再通过 X2引起 Y的变化
? （ 3） X2本身对 Y的净作用
? （ 4） X2的变化引起 X1的变化（因为存
在相关），再通过 X1引起 Y的变化
37
X1,X2对 Y作用的图解
Yi
Xi1 Xi2
b1 b`1
b`2
b2
x1?x2
带,`”的表示
“总的”作用 =净
作用 +其它变量的
间接作用
38
4．应当将其它自变量的作用分
离出来，以利于分析和解释
? 单独用 X1对 Y进行回归所得回归系数中（如同
简单相关系数一样）裹胁了 X2引起 X1变化，
再引起 Y的变化，这种变化成为间接影响。所
以往往造成一些假象。
? 一元回归系数 =X1的净影响 +其它自变量的间接
影响
? 二元回归系数中则只有 X1对 Y的净影响
? 这有利于对回归系数的解释和分析
? 当然，如果自变量之间不存在相关，简单回归
系数与二元模型中的偏回归系数是一回事
39
问题与解决问题的思路
? 第一步，找出 X2对 X1的影响
? 第二步，从 X1的变化中扣除 X2对 X1的影
响
? 第三步，用消除了 X2对 X1的影响后的剩
余（即只有 X1自身作用）再去与 Y建立
关系
? 如此得到的回归系数与二元模型中的偏
回归系数相等，说明偏回归系数反映的
是净作用（净影响）
40
第一步，找出 X2对 X1的影响
? ?? ?
? ?
（它又是残差）注意：
的剩余扣除
00
??
???
??
11
221111
2
2
21
22
2
2211
21
21
?
?
??
?????
?
??
???
??
?
?
?
? ?
?
VV
xxxxxV
x
xx
xx
xxxx
xx
xx
i
iiiiii
i
ii
i
ii
ii
ii
dc
ddc
dc
?
??
41
第二步，从 X1的变化中扣除 X2
对 X1的影响
建立关系。的作用）去与（已经扣除接下来用剩余
注意：
的剩余扣除
yxV
VV
xxxxxV
x
xx
xx
xx
i
ii
i
iiiiii
i
ii
ii
ii
dc
ddc
dc
21
11
221111
2
2
21
21
21
00
?
?
??
?
?
?
?
?
??
?????
???
??
?
?
?
?
??
42
第三步，用消除了 X2对 X1的影响后的剩余
（即只有 X1自身作用）去与 Y建立关系 ? ?? ?
? ?
? ?
? ?? ?
? ?
b
xx
xxy
V
Vy
VV
VVy
V
Vy
VV
xxxxxV
g
y
g
yy
ggyf
gf
dc
ii
ii
i
i
i
i
i
i
i
i
i
i
iiiiii
?
?
?
?
1
11
2
11
2
1
1
11
2
11
1
1
11
221111
??
??
?
?
?
00
?
?
???
??
?
?
?
??
???
??
??
?????
? ?
?
?
?
? ?
?
?
欲证明
分母
分子
注意：
的剩余扣除
43
分子
? ?? ?
? ?
? ?? ? ? ?? ?
? ? ? ? ? ?? ?
? ?? ?
? ?
? ?? ? ? ? ? ?? ? ? ?? ?
? ?
?
????
? ?
? ??? ?
? ?
?
?
??
? ?
?
?
?
???????
?
??
??????
????????
?
??
?
x
yxxxxxy
xx
yxxxxxxxxxxy
xx
xxxx
xxxxy
xxxxyxxy
xx
xxy
i
i
iiiii
i
i
i
iiiii
i
i
ii
ii
i
ii
i
ii
i
ii
ii
i
yy
ddy
ddyy
y
g
?
???????
2
2
221
2
21
22
2
22221122
2
11
22
2
2211
2211
221111
11
2
11
??
??
?
?
?
?
分子
分子
其中分子
分子
分母
分子
? ?? ?
? ?
? ? ? ?
? ? ? ?? ? ? ?
? ?? ?
? ?
? ?
? ? ? ?? ?? ?
? ?? ?
? ?
? ?
? ?? ?
? ?
? ? ? ? ? ?? ?? ? ? ?? ?? ?
? ?
? ? ? ? ? ?? ?? ?
? ?
? ?
?
??
?
? ? ? ????
?
? ? ??? ????
?
?
?
?
?
?
?
??
? ?
?
?? ?
?
?
?
?
?
?
?
?
?
??
???
???
? ???? ?
? ?
?
???
?
?
?
?
?
? ??
?
?
?
?
?
?
?
?
?
?
?
? ??
????
?
?
??
??
?
??
?
x
xxxx
xx
xxxxxxxx
xx
xxxxxxxxxxxx
xx
xxxx
xx
xx
xxxx
xxxxxx
xx
xx
xxxx
xx
xx
d
xx
x
d
x
d
xxxx
xx
xxy
i
iiii
i
iiii
i
iiiiii
i
ii
i
i
ii
iii
i
i
ii
i
ii
ii
ii
ii
ii
i
y
g
?
????
2
2
21
2
2
2
2
1
22
2
2211
2
22
2
11
2
22
2
2211
2
2211
2
22
2
11
2
22
2
2211
2
22
2
22
2
2211
221111
2
22
22
2
2211
11
2
2211
2
2211
2
11
2
11
2
11
2
2
?
?
??
?
?
?
分母
分母
分子
分 母
扣除 X2影响后的 X1对 Y的回归系数等于
二元方程中的回归系数 ? ?? ?
? ?
? ?? ? ? ? ? ?? ? ? ?? ?
? ?? ?
? ??? ?
? ?
?
???????
?
?
??
?
xx
yxxxxxxxxxxy
xx
xxy
i
iiiiiii
ii
iii
yy
y
g
22
2
22221122
2
11
11
2
11
?
?
?
分子
分母
分子
? ? ? ? ? ?? ?? ?
? ??
?
??
?
? ? ? ????
xx
xxxxxxxx
i
iiii
22
2
2211
2
22
2
11
2
分母
? ?? ? ? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
? ?
b
b
xxxx
xxxxx
xxxxxxxx
yxxxxxxxxyxx
g
yy
g
ii
yy
g
ii
iiiiiii
1
1
21
22
2
2
1
221
2
21
2
22
2
11
2
22221122
2
11
?
?
2211
?
??
?
??
??
?
??
???????
??
? ?
? ? ?
? ? ????
? ? ? ??
????
????? ??
分母
分子
46
偏回归系数乃是自变量对因变
量的净作用
? 上面所求 g的估计量 g^是我们从一元回归：
? y=a+b’1x’1+u中剔除掉 x2的干扰后，求出
x1对 y影响的净作用
? 它实际上等于二元回归模型：
y=a+b1x1+b2x2+u中 b1的数值。
? 这就进一步证明偏回归系数 b1就是 x1本身
变化对 y的净影响。
47
偏回归系数的意义
? 第三步得到关系的意义在于二元回归系
数是偏回归系数。在 其它 自变量 保持不
变 的条件下，该自变量变化一个单位将
引起因变量 平均变化 多少个单位。
48
第三节 从另一个角度看估计系数
? 所谓另一个角度，乃是给自变量一个增
量，考察因变量的增量与偏回归系数的
关系，进一步说明偏回归系数净作用在
自变量相关与不相关时的意义。
? 1。当自变量间不相关时，偏回归系数 =
一元回归中的系数 = ?y
? 2。当自变量之间相关时,?y = x1的直接
作用 + x1通过 x2对 y的间接影响
49
1．协方差等于 0
? ?
? ?
? ?
的增量。单位后对
增加一个时，等于是在说明
（旧）（新）
个单位）：增加新的（
不变化）：旧的（
当
y
xxxb
b
yy
xbxby
xbxby
xxxx
bbxx
i
iii
ii
ii
i
ii
i
ii
xx
ii
xx
ii
CO V
y
aX
aX
CO V
CO V
121
1
1
2
2
1
1
2
2
1
1
21
2,1
21
11
2,1
21
0,
)1(?11
?1
0100,
00,
?
???
???
???
?
?????
????
???
???????
????? ?
?
?
50
2．协方差不等于 0
。影响的了表示的间接影响，其中包含
进行通过表示表示直接影响，中在
（旧）（新）
（）（（新）
（旧）
，即变化，将引起变化如果
的关系：与时，假设当
bx
xxxbxby
xbxbyyy
xxbxxby
xbxby
xxxx
xx
xxxx
i
iiii
i
ii
iii
iiii
i
ii
i
iiii
ii
iiii
d
d
da
a
d
dc
C O V
?
???
?????
???
???
2
2
211
2
1
1
1
2
1
1
12
2
11
1
2
2
1
1
1211
12
2121
)
?
(
)
?
(
)
?
?
?
0),(
???
???????
???????
???
???
???
?
?
51
第四节 多重共线
? 多重共线（ Multicolliearity）是指两个自变量之间存在
完全线性相关关系的情况。
? B1和 b2的估计量都将趋于无穷。
? 此时相当于对同一个变量进行了两次回归。
方程中三个未知数包含在两个
（）（
）（
代入模型：将
模型中，在
?
?
?
?
??
??
????
??????
?????
????
?????
bb
b
uxy
uxbbby
uxbxby
xxx
uxbxby
d
ca
dca
dca
dc
a
ii
i
ii
i
iii
i
iii
xx
iii
i
21
1
2
2211
2221
121
2,1
2211
?
?
)
1
?
?
??
?
52
多重共线的危害
? 当自变量之间的相关系数 ==>1时，存在
多重共线。有的学者认为多重共线是一
个数据样本的问题。
? 多重共线的危害：
? 1。系数估计极不稳定，改变自变量的一
个取值，系数会发生相当大的变动
? 2。设计矩阵近乎于奇异矩阵，甚至无法
求解
? 3。采用诸如逐步回归、主成分回归分析
法等处理
53
筛选自变量的原则
? 1。筛选与因变量线性相关的变量
? 2。自变量之间尽可能不相关
54
第五节 复习与提高
? 如何理解与记忆计算偏回归系数的公式
? 什么是自变量对因变量的净作用？如何
度量净影响的？
? 一般线性回归
55
如何理解与记忆计算偏回归系
数的公式
xbxb
xbxb
XXX
XXX
X
X
X
XX
b
XXX
XXX
X
XX
X
X
b
X
X
b
b
XXX
XXX
XbXbXX
XbXXbX
ya
ya
Y
Y
Y
Y
Y
Y
Y
Y
a
2
2
1
1
2
2
1
1
2
221
21
2
1
2
1
2
1
21
2
2
221
21
2
1
2
2
21
2
1
1
2
1
2
1
2
221
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
??
????
?
?
??
??
?
?
)2(
)1(
?
???
?????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
??
?
?
?
?
??
??
?
?
?
?
?
?
??
??
???
???
离均差。请注意，这里使用的是
的正规方程组：消去
56
什么是自变量对因变量的净作用？如
何度量净影响的？
持不变）的影响（其它自变量保自身对表明
偏回归系数、系数
的回归方程、建立
的影响：对和中扣除、从
之间的关系：，与、寻找
，，假设有三个自变量
yx
b
uvy
xxv
xxxx
wxxx
xxx
xxx
i
i
ii
i
iii
iiii
iiii
iii
iii
g
gf
cba
1
1
1
111
1321
321
321
321
?
?
?4
3
2
1
?
???
??
????
一般线性回归
)1,(~
1
0:0),,2,1(0:
11
00
2
3
3
2
2
1
1
332211
?????
??
??
??
?
???
?????
??????
??
???????
knkF
kn
E S S
k
R S S
F
ki
T S S
E S S
T S S
R S S
T S S
R S S
T S S
E S S
k
a
a
bHbH
R
xbxbxbxby
uy
uxbxbxbxby
ii
ik
k
iii
i
i
i
iikkiii
i
至少一个全为
证明：元线性回归模型。可以称为
其中：
?
?
?
58
案例分析一：建材产量与基建
投资模型 LX2\LCHF25
59
案例分析二：家电需求量随时间变化的需
求函数 LX2\LCHF85
60
案例分析三：上海国有工业企
业投入产出模型 LX2\LCHF87
61
案例分析四,销售额与广告费和
价格之间的关系 LX2\P85
62
案例分析五,LX2\P130
63
案例分析六：美国汽车燃油消
耗模型 LX\WB36
第四章 最小二乘法（二）
两个自变量的最小二乘法
2
问题的提出
? 现实生活中引起因变量变化的因素并非
仅只一个自变量，可能有很多个自变量。
为了简便先讨论只有两个自变量的线性
模型。
? 例如，产出往往受各种投入要素 ——资
本、劳动、技术等的影响；销售额往往
受价格和公司对广告费的投入的影响。
? 所以在一元线性模型的基础上，提出了
二元线性模型,Yi=a+b1Xi1+b2Xi2+ui
3
解决问题的思路
? 在二元模型中要估计的乃是一个平面。
? 选取最好“平面”的准则，仍然是实际
点到拟合平面（通常仍称它为拟合直线）
的纵向距离最小 ——拟合值尽可能逼近
真值，即使残差（实际值减去拟合直线
上对应的 Y^值）的平方和最小。
? 于是将问题转化为一个求极值的数学问
题。
4
第一节 含两个自变量的
最小二乘法
原始数据的矩阵表示
数学原理
正规方程
正规方程的解
正规方程解的行列式表示
最小二乘法的矩阵表示
一元原始数据
? ?
? ???
?
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??????????
?
xx
x
xx
xx
x
xxx
yx
y
u
u
u
x
x
x
y
y
y
uxy
ii
i
ii
ii
i
n
i
i
i
nn
n
ii
i
n
n
XX
n
XXX
YXu
b
a
BXY
BXYuYYuXBYba
2
2
2
1
2
21
2
1
2
1
2
1
111
,,
1
1
1
,
???
?
?
????
模型：
原始数据的矩阵表示
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???????????
???
???
??
?
?
?
xxxx
xxxx
xx
xxx
xxx
yx
yx
y
u
u
u
b
b
xx
xx
xx
y
y
y
uxbxby
iiii
iiii
ii
n
n
i
i
i
i
i
nnn
n
iii
i
n
XXX
YXu
a
BXY
BXYuYYuXBYa
2
2212
21
2
11
21
22212
12111
2
1
2
1
2
1
21
2221
1211
2
1
2211
111
,,
1
1
1
,
???
?
?
?
?????
模型：
7
数学原理
? ? ? ?? ?
? ?? ?
? ? ? ?
? ?? ?
? ? ? ? ? ?
? ?? ?
? ? ? ? ? ? ????
? ???
????
? ???
???
? ???
? ???? ??
?????
?
?
?????
?
?
?????
?
?
???
???????
????
yxbxbxxx
b
xbxbay
yxbxxbxx
b
xbxbay
ybxbx
xbxbay
xbxbayyyu
yyuuyyx
bxb
y
uxbxby
i
iiiii
ii
i
iiiii
ii
i
ii
ii
iii
ii
ii
ii
ii
i
iii
i
a
a
na
a
ii
M i n
a
a
22
2
21212
2
2
2
1
1
2
12211
2
11
1
2
2
1
1
2
2211
2
2
1
1
2
2
2
1
1
22
2
2
2
1
1
2211
0
0
0
?
???
???
???
?????
???????
模型：
正规方程
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ?? ? ? ?? ?
? ?? ? ? ? ? ?? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??????
??????
???
???
???
???
?
?
??
??
???
???
?? ??
??? ?
????
????
???
y
y
y
y
y
y
ya
a
a
na
x
x
b
b
xxx
xxx
xbxbxx
xbxxbx
yxx
bxxbxxxx
yxx
bxxxxbxx
xbxb
yxbxbxxx
yxbxxbxx
ybxbx
i
iiiii
i
iiiii
i
iiiii
i
iiiii
i
ii
?
?
?
?
?
?
???
???
????
????
2
1
2
1
2
221
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
22
2
11
2
1
2211
11
2
2211
1
11
2
2
2
1
1
22
2
21212
12211
2
11
2211
?
?
??
??
??
??
??
)8(
)7(
)6(
)5(
324
)4(?1
)3(
)2(
)1(
简记为：
）式，经整理得：）、（）式代入（将（
）式解得：由（
正规方程：
9
正规方程的矩阵表示
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? YXXXBYXBXX
an
a
a
na
yx
yx
y
b
b
xxxx
xxxx
xx
yxbxbxxx
yxbxxbxx
ybxbx
i
i
i
i
i
iiii
iiii
ii
i
iiiii
i
iiiii
i
ii
???????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???
???
???
?
?
?
?
???
???
??
????
????
???
1
2
1
2
1
2
2212
21
2
11
21
22
2
21212
12211
2
11
2211
)3(
)2(
)1(
即
：正规方程的矩阵表示为
正规方程：
10
正规方程的解
? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
)6(
)5(
324
)4(?1
)3(
)2(
)1(
2211
2
22
2
11
2
1122112211
2
2
2211
2
22
2
11
2
2222111122
2
1
2
2
1
1
22
2
21212
12211
2
11
2211
?
?
??
? ? ????
? ? ? ??
? ? ????
? ? ? ??
????
????
???
??
???????
?
??
???????
?
???
???
???
???
xxxxxxxx
yxxxxxxyxxxx
b
xxxxxxxx
yxxxxxxyxxxx
b
xbxb
yxbxbxxx
yxbxxbxx
ybxbx
iiiii
i
iiii
i
ii
iiiii
i
iiii
i
ii
i
iiiii
i
iiiii
i
ii
yy
yy
ya
a
a
na
）式，经整理得：）、（）式代入（将（
）式解得：由（
正规方程：
11
正规方程解的行列式表示
离均差。请注意，这里使用的是
的正规方程组：消去
xbxb
xxx
xxx
x
x
x
xx
b
xxx
xxx
x
xx
x
x
b
x
x
b
b
xxx
xxx
xbxbxx
xbxxbx
ya
y
y
Y
y
y
y
y
y
a
2
2
1
1
2
121
21
2
1
2
1
2
1
21
2
2
121
21
2
1
2
2
21
2
1
1
2
1
2
1
2
121
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
????
?
?
??
??
?
)2(
)1(
?
?????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
??
?
?
?
?
??
??
?
?
?
?
?
?
??
??
???
???
???
???
?
?
?
??
???
???
?
??
?
?
?
?
???
???
????
????
?
??
?
?
?
?
简化了正规方程的矩阵表示
? ?
? ?
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ??
? ??
? ??
? ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ??
?
?
?
?
?
?
?
?
???
???
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
???
?
? ?
?
??
?
?
?
?
?
?
?
?
?
?
??
??
?
?
?
?
?
?
?
?
?
??
??
?
?
??
??
???
???
?
?
xx
yy
xx
yy
y
y
xx
y
y
y
y
aya
xx
xxxxx
xx
xxxxx
x
x
xxx
xxx
b
b
xx
xxx
xxx
xxx
xxx
x
x
b
b
xxx
xxx
xbxbxx
xbxxbx
xbxb
??
??
??
??
?
?
??
?
?
?
?
??
?????
??
?????
?
?
???
???
??
???
???
???
???
?
?
???
???
????
????
21
2
2
2
2
1
1212
2
1
21
2
2
2
2
1
2211
2
2
2
1
2
221
21
2
1
1
2
1
21
2
2
2
2
1
2
121
21
2
2
2
221
21
2
1
1
2
1
2
1
2
221
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
2
2
1
1
?
?
?
?
??
??
??,??1,并简记为代回去，消去）式解得：由正规方程（
最小二乘法的矩阵表示
? ? ? ?
? ?
? ?
? ? ? ?
? ? ? ? ? ?
? ?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
??
???
???????????
??????
?
????????
?
?
?
?????????????????
???
?
???????????????
????
?????????
??
?
?
??
??
?
?
?
?
?
???
yx
y
YX
n
n
XX
n
XX
ba
YXXXBYXXXXBXXXYXXBX
XBXYX
B
BXXBYBXYY
B
XBBXYXBYYM i nBXXBYXBYY
YXB
BXY
BXXBYXBBXYYYBXYBXYuu
XBYuXBYu
uYYuXBYa
i
i
i
ii
i
i
ii
ii
i
ii
i
i
i
X n n XXXX n n XXX
i
iii
i
xx
x
x
xx
xx
x
uxy
u
u
u
uxbxby
2
2
1
2
111
2
2
133113311111
2
2211
022
???
2
???
2m i n
???
2
?
?
'
??????
'
??
?
?
?
?
?
?
?
为例：以一元模型
是一个数
模型：
14
原始数据的矩阵表示
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???????
???
???
??
xxxx
xxxx
xx
xxx
xxx
u
u
u
b
b
xx
xx
xx
y
y
y
uxbxby
iiii
iiii
ii
n
n
nnn
n
iii
i
n
XXX
u
a
BXY
uXBYa
2
2212
21
2
11
21
22212
12111
2
1
2
1
21
2221
1211
2
1
2211
111
1
1
1
?
?
?
?????
模型：
15
简化 ——中心化处理
? ? YXXXBYXBXXuuM i n
BXYuXBYy
XXX
uBX
y
y
y
Y
a
uxxbxxby
xxx
xxx
xxxxxx
xxxxxx
u
u
u
b
b
xx
xx
xx
xx
xx
xx
y
y
y
uxbxby
iii
i
iii
iii
n
n
nnn
n
iii
i
?????????
??????????
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
???
???
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
?
??
??
1
222111
2
221
21
2
1
22222212
11121111
2
1
2
1
22
222
212
11
121
111
2
1
2211
??
)(
??
)()(
???
???
?
?
????
中心化原模型：
? ?
? ?
? ?
? ?
? ?? ??
? ? ? ?
? ??
? ? ? ?
?
?
? ??
??
??
??
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
??
?????????
???????????
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
???
???
??
?
?
xxxx
xxxxx
b
xxxx
xxxxx
b
x
x
xxxx
xxx
xxx
uxxbxxby
xxx
xxx
xxxxxx
xxxxxx
iiii
iii
iiii
iii
iiii
iii
iii
iii
i
iii
iii
n
n
yy
yy
y
y
YXXX
YXXXBYXBXXuuM i n
BXYuXBYy
XXX
????
?????
????
?????
?
?
????
???
???
???
???
??
??
?
?
?
?
21
2
2
2
2
1
1212
2
1
2
21
2
2
2
2
1
2211
2
2
1
2
1
21
2
2
2
2
1
2
121
21
2
2
1
1
222111
2
221
21
2
1
22222212
11121111
?
?
??
)(
??
)()(
17
销售额 SALES与价格 PRICE、
广告费 ADS之间的关系
SALES ADS PRICE
y x1 x2
1 36 56.7 12.0
2 48 63.9 9.0
3 45 62.7 11.0
4 40 59.7 13.0
5 30 55.9 14.5
6 56 68.7 9.5
7 63 69.2 7.5
8 53 65.5 11.0
9 61 69.4 9.0
10 68 73.4 8.5
11 66 74.1 10.0
12 65 74.4 9.5
obs
18
手工计算步骤
? （ 1）对照公式计算各个离均差求和项
? （ 2）代入公式
? （ 3）掌握公式用行列式表现的形式
19
EViews计算步骤
? （ 1）生成由 SALES、价格 PRICE、广告费 ADS构成的
组，并对组命名
? （ 2）观察它们的协方差矩阵、相关系数矩阵
? （ 3）分别观察销售额 SALES与价格 PRICE和广告费
ADS的散点图
? （ 4）选择 PROCE中的 EQUATION得到估计结果
– 注意设计估计方程的两种形式
? （ 5）熟悉各个统计量的意义
– 拟合优度,F、偏回归系数、系数的标准误,t、概
率
? （ 6）观察方程的各种表现形式
20
拟合直线方程的建立
? （ 7）将估计结果复制到研究报告中
Estimation Command:
=====================
LS SALES ADS PRICE C
Estimation Equation:
=====================
SALES = C(1)*ADS + C(2)*PRICE + C(3)
Substituted Coefficients:
=====================
SALES = 1.6097306*ADS - 1.3069856*PRICE - 40.313541
21
销售额、广告费、价格模型的
经济意义
? 请同学们回答！
22
偏回归系数的意义
? 在价格 PRICE保持不变的条件下，广告
费 ADS变化一个单位将引起销售额
SALES平均变化 b1= 1.6097306个单位；
? 在广告费 ADS保持不变的条件下，价格
PRICE变化一个单位将引起销售额
SALES平均变化 b2= - 1.3069856个单位。
拟合优度与 F检验
? ? ? ? ? ?
? ? ? ?
? ? ? ?
? ?
? ? ? ?
?
?
?
?????
??
??
????
??
?
??
?
??
??
??
?????
? ???? ?
? ???? ?
? ?? ?? ?
1
10:
1
00:
21/
2/
1
2
0
2
0
2
2 21 1
22
2 21 1
22
222
????
????
??
性为回归方程有意义的可靠
整个如果远远地大于不成立零假设
是一样的
的分子与分母动项的作用没有区别即它们的作用与随机扰
作用所有自变量对因变量无成立零假设
统计量
拟合优度
FRH
RH
R
x
b
x
b
ayyy
yx
b
x
b
ayy
yyyyyy
FF
F
F
R S S
nE S S
R S S
FF
T S S
E S S
T S S
E S ST S S
T S S
R S S
E S S
R S S
R S SE S ST S S
ii ii
iii
iiii
24
关于 F检验
? 零假设 H0,b1=b2=0 备择 HA,至少一个不为 0
? H0,b1=b2=0 <==>RSS中的 X1,X2不起作用，
RSS变动无异于随机变动 ==>
? 分子方差与分母方差是一回事 ==>F=1
? 如果 F显著地大于 1，甚至 F>F?==>小概率事件发生了，
根据小概率原理，在一次试验中小概率事件是不可能
发生的，居然发生了，错在哪儿？原来是 H0不成立。
于是,就不能认为 X1,X2 同时没有作用（但并不排除
其中一个无意义）。则直线是有意义的。可靠性 =1- ?
成立成立,HFH
s
s
A
e
r FF
n
E S S
R S S
F,1
3
2
02
2
?
????
?
?
25
EVIEWS输出的估计结果
? 共分 3个部分，顶部处理信息：
LS // Dependent Variable is SALES
Date,03/26/99 Time,21:14
Sample,1 12
Included observations,12
观察值个数 n
方法 因变量是谁
样本范围
26
EVIEWS输出的估计结果
? 共分 3部，底部为描述统计量和检验统计量
R-squared 0.982691 Mean dependent var 52.58333
Adjusted R-squared 0.978845 S.D,dependent var 12.73833
S.E,of regression 1.852775 Akaike info criterion 1.445687
Sum squared resid 30.89497 Schwartz criterion 1.566913
Log likelihood -22.70138 F-statistic 255.4816
Durbin-Watson stat 1.473207 Prob(F-statistic) 0
? ?
11
? 2
??
?
??
? ?
kn
E SS
kn
yy ii
? ? E S Suyy iii ?? ?? ? ?? 22 )1/( / ?? knE S S kR S S
? ?
11
2
???
? ?
n
T SS
n
yy i
27
R-squared 0.982691 Mean dependent var 52.58333
Adjusted R-squared 0.978845 S.D,dependent var 12.73833
S.E,of regression 1.852775 Akaike info criterion 1.445687
Sum squared resid 30.89497 Schwartz criterion 1.566913
Log likelihood -22.70138 F-statistic 255.4816
Durbin-Watson stat 1.473207 Prob(F-statistic) 0
? ?
? ? T S S
R S S
yy
yy
i
i ?
? ?
? ?
2
2?
? ? E S Suyy iii ?? ?? ? ?? 22
)1/(
/
?? knE S S
kR S S
ny
y i??
28
EVIEWS输出的估计结果
? 共分 3部分，中部关于系数的估计及其检
验
Variable Coefficient Std,Error T-Statistic Prob,
ADS 1.609731 0.139864 11.50924 0
PRICE -1.306986 0.451096 -2.897359 0.0177
C -40.31354 13.26641 -3.038767 0.014
b?1 ? ?
bVar ?1 )(
0
?
?
1
1
b
b
V a r
t
?
?
xbxbya 2211 ??? ??? 根据前栏 t值和自由度查出的概率
29
建立回归方程
Estimation Command:
=====================
LS SALES ADS PRICE C
Estimation Equation:
=====================
SALES = C(1)*ADS + C(2)*PRICE + C(3)
Substituted Coefficients:
=====================
SALES = 1.6097306*ADS - 1.3069856*PRICE - 40.313541
30
拟合回归“直线”的性质
? 1．残差和等于零，残差的均值为 0；
? 2．拟合值的均值等于因变量的实际均值；
? 3．残差与每一个自变量都不相关；
? 4．残差与拟合值不相关
0?0? 2 ??? uu i
? ? 0??0,c o v,?? ?? ? uy
ii
uy ii
? ? ? ? 0,,?? 21 ?? uxux iiii C O VC O V
yy ??
31
第二节 二元回归最小二乘法解
法又探
? 偏回归系数与相关系数间的关系
? 1．两个自变量的相关系数 =0时
? 2．两个自变量的相关系数 =1时
? 3．相关系数不等于 0时
? 3．两个自变量对 Y的作用路径
? X1,X2对 Y作用的图解
? 4．应当将其它自变量的作用分离出来，
以利于分析和解释
偏回归系数与相关系数间的关系
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
? ?? ? ? ?
? ?? ?
? ? ? ?
? ?? ?? ?
? ? ? ?
? ? ? ?? ? ? ?? ? ? ?? ?
? ? ? ?
? ?? ?? ?
? ? ? ?
? ? ? ?? ? ? ? ? ?? ?
? ? ? ?? ? ??
? ? ??
? ?
? ? ??
??
??
? ? ? ??
? ? ??
? ??
? ? ??
?
?
? ? ????
? ? ? ??
?
?
?
?
?
?
?
?????
?
?
?
?
?
?
?
?
?
?
?
???????
?
?
??
?
???
??
???????
?
?
??
2
,
22
2
11
2
22211122
2
1
22
2
11
2
2211
2
22
2
11
2
2222111122
2
1
22
2
11
2
2
2
,
22
2
11
2
2211
,
212211
2211
2
22
2
11
2
2222111122
2
1
21
2121
1
,
1
2211
,
?
?
?
xx
yn C O Vy
yy
iii
xxxx
n C O V
yy
ii
iiii
xxxx
yxxxxyxxxx
b
xxxx
xxxx
xxxx
yxxxxxxyxxxx
b
xxxx
xxxx
xxxx
xxxx
xxxxxx
xxxxxxxx
yxxxxxxyxxxx
b
ii
i
iii
i
ii
ii
iii
ii
i
iiii
i
ii
ii
ii
iii
iiiii
iiiii
i
iiii
i
ii
1．两个自变量的相关系数 =0时
? 二元回归方程中的系数等于一元回归方程中的系数
? ?? ?
? ?
? ? ? ?? ? ? ? ? ?? ?
? ? ? ?
? ?
? ? ? ?? ?
? ? ? ?
? ?? ?
? ?
bb
xx
yxx
xxxx
yxxxx
b
xx
xxxx
yxxxxyxxxx
b
xbxby
xx
yxx
bxb
y
i
i
i
ii
i
ii
ii
ii
i
iii
i
ii
ii
i
i
i
i
i
i
yy
C O V
xx
xx
yn C O Vy
a
y
a
ii
ii
?
? ?
?
? ? ??
? ??
? ? ??
? ? ??
? ?
?
??
??
??
?
??
?
??
?
?
?
?
?
?
?
?????
?
????
??
????
??
?
?
??
??
11
11
2
11
22
2
11
2
1111
2
1
21
,
2
,
22
2
11
2
22211122
2
1
2
2
1
1
11
2
11
1
1
1
0,0
1
,
?
?
21
21
时当
中：在二元模型
中：在一元模型
?
?
2．两个自变量的相关系数 =1时
? 存在多重共线，无法对回归系数进行估
计 ? ? ? ?? ? ? ? ? ?? ?
? ? ? ?
。，自变量之间完全相关这就是所谓的多重共线
，从而无法将估计出。分母时，当 ????
??
?
??
?
?
?????
?
? ? ??
? ? ??
1
1
,
21
21
,
2
,22
2
11
2
22211122
2
1
?
?
?
xx
xx
yn C O Vy
ii
ii
xxxx
yxxxxyxxxx
b
ii
iiiiiii
35
3．相关系数不等于 0也不等于 1时
? 二元回归方程中的系数与一元回归方程
中的系数谁大谁小，取决于公式中两个
自变量间协方差等的符号和大小
? 相关系数 =0，各个自变量的系数直接说
明了它们对因变量的影响。
? 相关系数 <>0，又不等于 1，最好将两个
自变量间的相互作用分离开来，以便于
自变量对因变量作用的解释。
36
3．两个自变量对 Y的作用路径
? （ 1） X1本身对 Y的净作用
? （ 2） X1的变化引起 X2的变化（因为存
在相关），再通过 X2引起 Y的变化
? （ 3） X2本身对 Y的净作用
? （ 4） X2的变化引起 X1的变化（因为存
在相关），再通过 X1引起 Y的变化
37
X1,X2对 Y作用的图解
Yi
Xi1 Xi2
b1 b`1
b`2
b2
x1?x2
带,`”的表示
“总的”作用 =净
作用 +其它变量的
间接作用
38
4．应当将其它自变量的作用分
离出来，以利于分析和解释
? 单独用 X1对 Y进行回归所得回归系数中（如同
简单相关系数一样）裹胁了 X2引起 X1变化，
再引起 Y的变化，这种变化成为间接影响。所
以往往造成一些假象。
? 一元回归系数 =X1的净影响 +其它自变量的间接
影响
? 二元回归系数中则只有 X1对 Y的净影响
? 这有利于对回归系数的解释和分析
? 当然，如果自变量之间不存在相关，简单回归
系数与二元模型中的偏回归系数是一回事
39
问题与解决问题的思路
? 第一步，找出 X2对 X1的影响
? 第二步，从 X1的变化中扣除 X2对 X1的影
响
? 第三步，用消除了 X2对 X1的影响后的剩
余（即只有 X1自身作用）再去与 Y建立
关系
? 如此得到的回归系数与二元模型中的偏
回归系数相等，说明偏回归系数反映的
是净作用（净影响）
40
第一步，找出 X2对 X1的影响
? ?? ?
? ?
（它又是残差）注意：
的剩余扣除
00
??
???
??
11
221111
2
2
21
22
2
2211
21
21
?
?
??
?????
?
??
???
??
?
?
?
? ?
?
VV
xxxxxV
x
xx
xx
xxxx
xx
xx
i
iiiiii
i
ii
i
ii
ii
ii
dc
ddc
dc
?
??
41
第二步，从 X1的变化中扣除 X2
对 X1的影响
建立关系。的作用）去与（已经扣除接下来用剩余
注意：
的剩余扣除
yxV
VV
xxxxxV
x
xx
xx
xx
i
ii
i
iiiiii
i
ii
ii
ii
dc
ddc
dc
21
11
221111
2
2
21
21
21
00
?
?
??
?
?
?
?
?
??
?????
???
??
?
?
?
?
??
42
第三步，用消除了 X2对 X1的影响后的剩余
（即只有 X1自身作用）去与 Y建立关系 ? ?? ?
? ?
? ?
? ?? ?
? ?
b
xx
xxy
V
Vy
VV
VVy
V
Vy
VV
xxxxxV
g
y
g
yy
ggyf
gf
dc
ii
ii
i
i
i
i
i
i
i
i
i
i
iiiiii
?
?
?
?
1
11
2
11
2
1
1
11
2
11
1
1
11
221111
??
??
?
?
?
00
?
?
???
??
?
?
?
??
???
??
??
?????
? ?
?
?
?
? ?
?
?
欲证明
分母
分子
注意：
的剩余扣除
43
分子
? ?? ?
? ?
? ?? ? ? ?? ?
? ? ? ? ? ?? ?
? ?? ?
? ?
? ?? ? ? ? ? ?? ? ? ?? ?
? ?
?
????
? ?
? ??? ?
? ?
?
?
??
? ?
?
?
?
???????
?
??
??????
????????
?
??
?
x
yxxxxxy
xx
yxxxxxxxxxxy
xx
xxxx
xxxxy
xxxxyxxy
xx
xxy
i
i
iiiii
i
i
i
iiiii
i
i
ii
ii
i
ii
i
ii
i
ii
ii
i
yy
ddy
ddyy
y
g
?
???????
2
2
221
2
21
22
2
22221122
2
11
22
2
2211
2211
221111
11
2
11
??
??
?
?
?
?
分子
分子
其中分子
分子
分母
分子
? ?? ?
? ?
? ? ? ?
? ? ? ?? ? ? ?
? ?? ?
? ?
? ?
? ? ? ?? ?? ?
? ?? ?
? ?
? ?
? ?? ?
? ?
? ? ? ? ? ?? ?? ? ? ?? ?? ?
? ?
? ? ? ? ? ?? ?? ?
? ?
? ?
?
??
?
? ? ? ????
?
? ? ??? ????
?
?
?
?
?
?
?
??
? ?
?
?? ?
?
?
?
?
?
?
?
?
?
??
???
???
? ???? ?
? ?
?
???
?
?
?
?
?
? ??
?
?
?
?
?
?
?
?
?
?
?
? ??
????
?
?
??
??
?
??
?
x
xxxx
xx
xxxxxxxx
xx
xxxxxxxxxxxx
xx
xxxx
xx
xx
xxxx
xxxxxx
xx
xx
xxxx
xx
xx
d
xx
x
d
x
d
xxxx
xx
xxy
i
iiii
i
iiii
i
iiiiii
i
ii
i
i
ii
iii
i
i
ii
i
ii
ii
ii
ii
ii
i
y
g
?
????
2
2
21
2
2
2
2
1
22
2
2211
2
22
2
11
2
22
2
2211
2
2211
2
22
2
11
2
22
2
2211
2
22
2
22
2
2211
221111
2
22
22
2
2211
11
2
2211
2
2211
2
11
2
11
2
11
2
2
?
?
??
?
?
?
分母
分母
分子
分 母
扣除 X2影响后的 X1对 Y的回归系数等于
二元方程中的回归系数 ? ?? ?
? ?
? ?? ? ? ? ? ?? ? ? ?? ?
? ?? ?
? ??? ?
? ?
?
???????
?
?
??
?
xx
yxxxxxxxxxxy
xx
xxy
i
iiiiiii
ii
iii
yy
y
g
22
2
22221122
2
11
11
2
11
?
?
?
分子
分母
分子
? ? ? ? ? ?? ?? ?
? ??
?
??
?
? ? ? ????
xx
xxxxxxxx
i
iiii
22
2
2211
2
22
2
11
2
分母
? ?? ? ? ? ? ?? ? ? ?? ?
? ? ? ? ? ?? ?? ?
? ?
b
b
xxxx
xxxxx
xxxxxxxx
yxxxxxxxxyxx
g
yy
g
ii
yy
g
ii
iiiiiii
1
1
21
22
2
2
1
221
2
21
2
22
2
11
2
22221122
2
11
?
?
2211
?
??
?
??
??
?
??
???????
??
? ?
? ? ?
? ? ????
? ? ? ??
????
????? ??
分母
分子
46
偏回归系数乃是自变量对因变
量的净作用
? 上面所求 g的估计量 g^是我们从一元回归：
? y=a+b’1x’1+u中剔除掉 x2的干扰后，求出
x1对 y影响的净作用
? 它实际上等于二元回归模型：
y=a+b1x1+b2x2+u中 b1的数值。
? 这就进一步证明偏回归系数 b1就是 x1本身
变化对 y的净影响。
47
偏回归系数的意义
? 第三步得到关系的意义在于二元回归系
数是偏回归系数。在 其它 自变量 保持不
变 的条件下，该自变量变化一个单位将
引起因变量 平均变化 多少个单位。
48
第三节 从另一个角度看估计系数
? 所谓另一个角度，乃是给自变量一个增
量，考察因变量的增量与偏回归系数的
关系，进一步说明偏回归系数净作用在
自变量相关与不相关时的意义。
? 1。当自变量间不相关时，偏回归系数 =
一元回归中的系数 = ?y
? 2。当自变量之间相关时,?y = x1的直接
作用 + x1通过 x2对 y的间接影响
49
1．协方差等于 0
? ?
? ?
? ?
的增量。单位后对
增加一个时，等于是在说明
（旧）（新）
个单位）：增加新的（
不变化）：旧的（
当
y
xxxb
b
yy
xbxby
xbxby
xxxx
bbxx
i
iii
ii
ii
i
ii
i
ii
xx
ii
xx
ii
CO V
y
aX
aX
CO V
CO V
121
1
1
2
2
1
1
2
2
1
1
21
2,1
21
11
2,1
21
0,
)1(?11
?1
0100,
00,
?
???
???
???
?
?????
????
???
???????
????? ?
?
?
50
2．协方差不等于 0
。影响的了表示的间接影响，其中包含
进行通过表示表示直接影响，中在
（旧）（新）
（）（（新）
（旧）
，即变化，将引起变化如果
的关系：与时，假设当
bx
xxxbxby
xbxbyyy
xxbxxby
xbxby
xxxx
xx
xxxx
i
iiii
i
ii
iii
iiii
i
ii
i
iiii
ii
iiii
d
d
da
a
d
dc
C O V
?
???
?????
???
???
2
2
211
2
1
1
1
2
1
1
12
2
11
1
2
2
1
1
1211
12
2121
)
?
(
)
?
(
)
?
?
?
0),(
???
???????
???????
???
???
???
?
?
51
第四节 多重共线
? 多重共线（ Multicolliearity）是指两个自变量之间存在
完全线性相关关系的情况。
? B1和 b2的估计量都将趋于无穷。
? 此时相当于对同一个变量进行了两次回归。
方程中三个未知数包含在两个
（）（
）（
代入模型：将
模型中，在
?
?
?
?
??
??
????
??????
?????
????
?????
bb
b
uxy
uxbbby
uxbxby
xxx
uxbxby
d
ca
dca
dca
dc
a
ii
i
ii
i
iii
i
iii
xx
iii
i
21
1
2
2211
2221
121
2,1
2211
?
?
)
1
?
?
??
?
52
多重共线的危害
? 当自变量之间的相关系数 ==>1时，存在
多重共线。有的学者认为多重共线是一
个数据样本的问题。
? 多重共线的危害：
? 1。系数估计极不稳定，改变自变量的一
个取值，系数会发生相当大的变动
? 2。设计矩阵近乎于奇异矩阵，甚至无法
求解
? 3。采用诸如逐步回归、主成分回归分析
法等处理
53
筛选自变量的原则
? 1。筛选与因变量线性相关的变量
? 2。自变量之间尽可能不相关
54
第五节 复习与提高
? 如何理解与记忆计算偏回归系数的公式
? 什么是自变量对因变量的净作用？如何
度量净影响的？
? 一般线性回归
55
如何理解与记忆计算偏回归系
数的公式
xbxb
xbxb
XXX
XXX
X
X
X
XX
b
XXX
XXX
X
XX
X
X
b
X
X
b
b
XXX
XXX
XbXbXX
XbXXbX
ya
ya
Y
Y
Y
Y
Y
Y
Y
Y
a
2
2
1
1
2
2
1
1
2
221
21
2
1
2
1
2
1
21
2
2
221
21
2
1
2
2
21
2
1
1
2
1
2
1
2
221
21
2
1
2
2
2
2
1
21
1
2
21
1
2
1
??
????
?
?
??
??
?
?
)2(
)1(
?
???
?????
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
??
??
??
?
?
?
?
??
??
?
?
?
?
?
?
??
??
???
???
离均差。请注意，这里使用的是
的正规方程组：消去
56
什么是自变量对因变量的净作用？如
何度量净影响的？
持不变）的影响（其它自变量保自身对表明
偏回归系数、系数
的回归方程、建立
的影响：对和中扣除、从
之间的关系：，与、寻找
，，假设有三个自变量
yx
b
uvy
xxv
xxxx
wxxx
xxx
xxx
i
i
ii
i
iii
iiii
iiii
iii
iii
g
gf
cba
1
1
1
111
1321
321
321
321
?
?
?4
3
2
1
?
???
??
????
一般线性回归
)1,(~
1
0:0),,2,1(0:
11
00
2
3
3
2
2
1
1
332211
?????
??
??
??
?
???
?????
??????
??
???????
knkF
kn
E S S
k
R S S
F
ki
T S S
E S S
T S S
R S S
T S S
R S S
T S S
E S S
k
a
a
bHbH
R
xbxbxbxby
uy
uxbxbxbxby
ii
ik
k
iii
i
i
i
iikkiii
i
至少一个全为
证明：元线性回归模型。可以称为
其中：
?
?
?
58
案例分析一：建材产量与基建
投资模型 LX2\LCHF25
59
案例分析二：家电需求量随时间变化的需
求函数 LX2\LCHF85
60
案例分析三：上海国有工业企
业投入产出模型 LX2\LCHF87
61
案例分析四,销售额与广告费和
价格之间的关系 LX2\P85
62
案例分析五,LX2\P130
63
案例分析六：美国汽车燃油消
耗模型 LX\WB36
