1
2
3
? 变量 S的值随 t而定，这就是说，如果 t去了固定
值，那么 S的值就完全确定了
? 这种关系就是所谓的函数关系或确定性关系
? 回归分析方法是处理变量之间相关关系的有理
工具，它不仅提供建立变量间关系的数学表达式 —
— 经验公式，而且利用概率统计知识进行了分析讨
论，从而判断经验公式的正确性
4
? 二、回归分析所能解决的问题
? 回归分析主要解决以下几方面的问题,
? （ 1）确定几个特定变量之间是否存在相关关系，
如果存在的话，找出她们之间合适的数学表达式
? （ 2）根据一个或几个变量的值，预报或控制另一
个变量的取值，并且要知道这种预报或控制的精确
度
? （ 3）进行因素分析，确定因素的主次以及因素之
间的相互关系等等
5
? 一元线性回归分析，只要解决,
? （ 1）求变量 x与 y之间的回归直线方程
? （ 2）判断变量 x和 y之间是否确为线性关系
? （ 3）根据一个变量的值，预测或控制另一变量
的取值
6
?二、一元线性回归方程的确定
i
y ( 1,2,...,)
xy
xy
iN?
数学上判定直线合理的原则：
如果直线与全部观测数据 的离差平方和，
比任何其它直线与全部观测数据的离差平方和更小，该
直线就是代表 与 之间关系较为合理的一条直线，这条
直线就是 和 之间的回归直线。
7
*
*
**
*
,) ( 1,2,
...,) x y
()
ii
i
i i i i i
i i i
i
y a bx x y i
N
x y a bx
y a bx y x y
y y y a bx
y
? ? ?
??
??
? ? ? ?
设 是平面上的一条任意直线，(
是变量, 的一组观测数据。
那么，对于每一个,在直线 上确可以确定一
个 的值,与 处实际观测值 的差：
就刻画了 与直线偏离度
8
x
y
1x
(,)iixy
^(,)
iixy
^y a bx??
9
*
* 22
11
( 1,2,...,) ( 1,2,...,)
( ) ( )
( 1,2,...,)
,
a b Q
ii
NN
i i i i
ii
i
y i N y i N
Q y y y a bx
Q y i N
Q x y
??
??
? ? ? ? ?
?
??
全部观测值 与直线上对于的
的离差平方和则为：
反映了全部观测值 对直线的偏离程度，显
然，离差平方和 越小，愈能较好地表示 之间的关系。
用最小二乘法原理，通过选择合适的系数,,使 最小
10
1
1
__
1 1 1 1
_
222
11
__
2 ( ) 0 ( 6 1 )
2 ( ) 0 ( 6 2)
1
( ) ( )
( 6 3 )
1
( ) ( )
( 6 4)
N
ii
i
N
i i i
i
N N N N
i i i i i i
i i i i
NN
i i i
ii
Q
y a bx
a
Q
y a bx x
b
x x y y x y x y
N
x x x x
N
a y b x
?
?
? ? ? ?
??
?
? ? ? ? ? ?
?
?
? ? ? ? ? ?
?
? ? ?
??
??
? ? ?
?
?
? ? ? ?
? ? ?
N
i=1
联合求解得：
b=
11
__
11
^
11
,( 6 5 )
ab
( 6 6)
b
NN
ii
ii
x x y y
NN
y a bx
??
? ? ?
? ? ?
??此处
求得, 后，回归方程为：
便可以确定,称为回归系数
12
?三、回归方程检验方法
? （一）方差分析法
? 回顾方差分析的基本特点,
? 把所给数据的总波动分解为两部分，一部分反映水平
变化引起的波动，另一部分反映由于存在试验误差而引起
的波动。然后把各因素水平变化引起的波动与试验误差引
起的波动大小进行比较，而达到检验因素显著性的目的,
13
^
__ ^^
22
_^^
22
(,) ( 1,2,...,) x y
xy
( ) [ ( ) ( ) ]
( ) ( )
i i i
ii
i
y y i i i i
i i i
x y i N x
y x y a bx
y
L y y y y y y
y y y y
?
??
? ? ? ? ? ?
? ? ? ?
??
?
_
NN
i=1 i=1
N
i=1 i=1
设 为变量, 间的一组观测数据，
为观测点,为 处的观测之,为这组观测数据
求得的变量, 间的回归方程，在回归问题中，观测数
据总的波动情况，用各观测值 与总平均y 之间的平方和
即总变动平方和表示
_^^
2 ( ) ( )
i i i
y y y y? ? ?
??
NN
i=1
14
^
2
_^
2
()
( ) ( 6 8 )
x y y
( 6 9)
ii
i
Q y y
Q
U y y
UQ
??
? ? ?
? ? ?
?
?
U
N
i=1
N
i=1
yy
第一项
是观测值与回归直线的离差平方和，反映了误差的大小
第二项
反映了总变动中，由于 与 的线性关系而引起 变化的
一部分，称为回归平方和
第三项为零
L
15
U
Q
UQ
N
N2
UQ
f
f
f
f
f f f??
yy
yy 总
总
总
每一个变动平方和（即L,, ）都有一个“自由度”
和它们对应，L 自由度称为总自由度，记做 。
＝观测值个数－1＝ －1
＝1
＝－
三者之间仍然有：
16
a
a
F
( 2)
2 a 0.05 0.01 F
( 1,2)
FF
FF
U
N
Q
N
??
?
u
Q
a
可用 检验考察回归直线的显著性：
U/f
（1）计算F=
Q/f
（ ）对于选定的显著性水平 ＝ （或 ），从 分布
上找出临界值F
（3）比较 与 的大小。
若 >,则回归方程有意义，反之则说明方程意义不大
17
? （二）相关系数检验法
__^
22
_
22
_^^
2
__
22
2
__
22
( ) [ ( ) ( ) ]
()
[ ( ) ( ) ]
( ) ( )
1 ( 6 11 )
( ) ( )
ii
i
y y i i i
i i i
ii
U y y U a bx a b x
b x x
L y y y y
y y x x
b
y y y y
? ? ? ? ? ? ?
??
? ? ? ?
??
? ? ?
??
??
?
?
??
??
NN
i=1 i=1
N
i=1
N
i=1
NN
i=1 i=1
NN
i=1 i=1
由
代入 整理后可得
18
_ ^
22
22
__
22
_
2
_
2
( ) ( )
1 ( 6 12)
( ) ( )
()
()
i i i
ii
i
i
x x y y
rb
y y y y
xx
rb
yy
??
? ? ? ?
??
?
??
?
??
??
?
?
NN
i=1 i=1
NN
i=1 i=1
N
i=1
N
i=1
令
19
_
2
^
_
2
1 y x
()
,1,
()
i
ii
i
yy
y y r b
xx
?
? ? ?
?
?
?
N
i=1
N
i=1
下面存在三种情形：
（） 与 有严格函数关系时
x
y 1r?
x
y 1r??
20
_^
2 y x
,0,0y y r b? ? ?
（ ） 与 无任何依赖关系时
x
y 0r?
x
y 0r?
21
3 y x
r
（） 与 存在相关关系时
0< | |< 1
x
y 10r? ? ?
x
y 01r??
22
___
2
1
_
__
2
22
11
yx
r
( ) ( )()
()
( ) ( )
N
iii
i
NN
i
ii
ii
xy
x x y y
x x y yxx
rb
yy
x x y y
l
ll
?
??
???
?
?
??
?
??
? ??
N
i=1
N
i=1
检验 与 是否相关的步骤：
（1）按 下式计算,
＝
23
,
,
,
,
2 f n 2
3 | |
| | x y
| | x y
af
af
af
af
r
rr
rr
rr
?
?
?
（ ）给定显著行水平,按自由度 ＝ －,由相关系数
临界表中查处临界值 。
（）比较 与 的大小。
若,认为 与 之间存在线性相关关系；
若,认为 与 之间不存在线性相关关系。
24
n-2
1
2
3
4
5
6
7
8
9
10
0.05 0.01
0.997
0.950
0.878
0.811
0.754
0.707
0.666
0.632
0.602
0.576
1.000
0.990
0.959
0.917
0.874
0.834
0.798
0.765
0.735
0.708
n-2
11
12
13
14
15
16
17
18
19
20
0.05 0.01
0.553
0.532
0.514
0.479
0.482
0.468
0.456
0.444
0.433
0.413
0.684
0.661
0.641
0.623
0.606
0.590
0.575
0.561
0.549
0.537
n-2
21
22
23
24
25
26
27
28
29
30
0.05 0.01
0.413
0.404
0.396
0.388
0.381
0.374
0.367
0.364
0.355
0.349
0.526
0.515
0.505
0.496
0.487
0.478
0.470
0.463
0.456
0.449
? ? ?
相关系数临界值表
25
?四、预报与控制
? 当我们求得变量 x,y之间的回归直线方程后，
往往通过回归方程回答这样两方面的问题,
? （ 1）对任何一个给定的观测点 x0，推断 y0大致落的范围
? （ 2）若要求观测值 y在一定的范围 y1<y<y2内取值，应将
变量控制在什么地方
? 前者就是所谓的预报问题，后者称为控制问题。
26
^
0 0 0
^
0
^
00
2
y
x y y
y
yy
Q
S
N
?
?
（一）预报问题
一般来说，对于固定 处的观测值,其取值是以 为
中心而对称分布的。愈靠近 的地方，出现的机会愈大，
离 愈元的地方，出现的机会少，而且 的取值范围与量
有下述关系：
27
^
00
^
00
^
00
00
^^
0 0 0
^^
0 0 0
3
2
22
22
y
y
y
yy
yy
yy
y y S
y y S
y y S
x x x
y y S y S
y S y y S
SS
?
?
?
?
??
? ? ? ?
落在 范围内的可能性为99.7％
落在 范围内的可能性为95％
落在 范围内的可能性为68％
利用此关系，对于指定的,我们有95 ％的把握说，在
处的实际观测值 介于 与 之间
即：
这样，预报问题就得到了解决
量 称为剩余标准差。 用来衡量预报的精确度
28
0
1 0 2
1 1 1 1
2 2 2 2 2
1 2 1 2
01
2
23
23
yy
y
y
y y y
a S bx y a S bx y
a S bx y a S bx y
x x x x x
yy
y
??
? ? ? ? ? ?
? ? ? ? ? ?
（二）控制问题
控制问题只不过是预报的反问题。若要求观测值
在 范围内取值，则可从
（或 ）
及 （或 ）
中分别解出,,只要将 的取值控制在 与 之间，
我们就能以9 5％ （或99,7％ ）的把握保证,在 与
范围内取值。
29
1
2
2 ( 6 17 )
2 ( 6 18 )
y
y
y a bx S
y a bx S
? ? ? ?
? ? ? ?
进行预报和控制，通常也采用图解法。其作法是：在
散点图上作两条平行与回归直线的直线
x
y 2 yy a b x S? ? ?
^y a bx??
1x 2x
1y
2y
2 yy a b x S? ? ?
0b?
x
y
2 yy a b x S? ? ?
2 yy a b x S? ? ?
^y a bx??
1x 2x
1y
2y
0b?
30
12
95x
yy
xx
可以预测在 附近的一系列观测值中，％将落在这两条
直线所夹成的带行趋于中，若要求在 与 范围内取值，
则只需要图中虚线所示的对于关系，可在 轴上找到
值的控制范围。
31
?五、应用举例
? 例 6－ 1 在某产品表明腐蚀刻线，下表是试
验活得的腐蚀时间（ x）与腐蚀深度（ y）间的
一组数据。试研究两变量（ x,y）之间的关系。
腐蚀时间 x（秒）
腐蚀深度 y（ μ）
5 5 10 20 30 40 50 60 65 90 120
4 6 8 13 16 17 19 25 25 29 46
?
32
ii作散点图，即（x,y ）图
40
30
20
10
y
x 10 20 30 40 50 60 70 80 90 100 110 120
xy可见 与 之间无确定的函数关系，而表现为相关关系
33
_
222
1 1 1
_
222
1 1 1
__
1 1 1 1
__
2
1
1
( ) ( )
1
( ) ( )
1
( ) ( ) ( ) ( )
( 6 19)
( 6 20) ( 6 21 )
N N N
x x i i i
i i i
N N N
y y i i i
i i i
N N N N
x y i i i i i i
i i i i
xy
xx
x y x y
xx
x x y y
L x x x x
N
L y y y y
N
L x x y y x y x y
N
L
a y b x b
L
lL
rU
Lll
? ? ?
? ? ?
? ? ? ?
? ? ? ?
? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ?
? ? ?
? ? ?
? ? ? ?
（）求回归直线
记
34
序号
1
2
3
4
5
6
7
8
9
10
11
x y 2x 2y xy
?
5
5
10
20
30
40
50
60
65
90
120
495
4
6
8
13
16
17
19
25
25
29
46
208
25
25
100
400
900
1600
2500
3600
4225
8100
14400
35875
16
36
64
169
256
289
361
625
625
841
2116
5398
20
30
80
260
480
680
950
1500
1625
2610
5520
13755
35
2 2 2 2
1 1 1 1 1
__
2
495 208
11 11
1 48345
13755 495 208
11 11
1 149600
35875 495
11 11
N N N N N
i i i i i i i i i i
i i i i i
xy
xx
x y x y x y x y x y
xy
L
L
? ? ? ? ?
??
? ? ? ? ?
? ? ? ?
? ? ? ? ?
具体计算格式如下：
列表计算,, 以及,,,,
36
__
,0.05,9
,
48345
0.328
149600
208 495
0.323 4.37
11 11
4.37,323
2
0.521
||
xy
xx
xy
x x y y
f
f
L
b
L
a y b x
yx
l
r
ll
rr
rr
?
?
? ? ? ?
? ? ? ? ? ?
? ? ?
?
??
??
回归方程为：
（ ）显著性检验
相关系数 ＝0.98
回归方程有意义
37
0
^
0
^
0
^
0
3
2 45
2.24
9
0.75
4.37,323 4.37 0.32,75 28.6( )
2 28.6 2 2.24 24.12( )
2 28.6 2 2.24 33.08 ( )
y
y
y
s
NQ
x
yx
ys
ys
?
?
?
? ? ?
?
?
? ? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
（）预报与控制
首先计算
现在可以来回答两个问题
1 ）预测当腐蚀时间 秒时的腐蚀深度
由回归方程
38
0
1
2
1
2
95 0.75
24.12 33.08
2) 10 20
2 10
2 20
31.3
34.5
y
y
x
y
xs
xs
x
x
??
?
?
??
??
??
?
?
故有 ％的把握回答,秒的腐蚀深度范围为：
若要求克现深度在 ～ 之间，应将腐蚀时间控制
在什么范围：
解方程 4.37+0.323
4.37+0.323
得秒
秒
故知应将腐蚀时间控制在32～34秒内
39
§ 5－ 2 多元回归分析方法
40
一、多元回归分析概述
上节讨论的只是两个变量的回归问题，其中因
变量只与一个自变量相关。但这只是最简单的情况，
在大多数的实际问题中，影响因变量的因素不是一
个而是多个，我们称这类回问题为多元回归分析。
我们这里着重讨论简单而又最一般的线性回归
问题，这是因为许多非线性的情形可以化为线性回
归来做。多元线性回归分析的原理与一元线性回归
分析完全相同，但在计算上却要复杂得多。不过，
应用计算机多元回归的计算量是很小的，一般的计
算机都有多元回归（以及逐步回归方法）的专门程
序
。
41
12
11 21 1
2 12 22 2
12
ij i j
0 1 11 2 21 1 1
0 1 12 2 2
1.
x,x
Y
( ;,)
( ;,)
( ;,)
x x j y Y j
k
k
n n n k n
kk
y x x x
y x x x
y x x x
b b x b x b x
b b x b x
?
?
?? ? ? ? ? ?
? ? ?
k
0 1 1 k k
1
1
2
模 型
设 因 变 量,,x,有 关 系 ；
＝ b +b x + +b x + (7-24)
其 中 是 随 机 项, 现 有 几 组 数 据,
（ 其 中 是 自 变 量 的 第 个 值 ； 是 的 第 个 观 察 值 ）
假 设, y
y
2 2 2
0 1 1 2 2
0 1 1 2 n
,,
N 0 1
kk
n n k k n n
k
bx
b b x b x b x
b b b
?
?
? ? ?
?
? ? ?
? ? ? ? ? ?
n
y
其 中 是 待 估 参 数 ； 而, 相 互 独 立 且 服 从
相 同 的 标 准 正 态 分 布 （, ）, （ 未 知 ）
42
1 2 k
1 2 kt
k
2
2.
Y k x x x
,,; ),1,2 7 26
y x x
y 7 27
Q ( ( )
t t t
t
x x x y t N
yy
?
?
1
0 1 1 2 2 k k
0 1 k
0 1 k
最 小 二 乘 法 与 正 规 方 程
设 影 响 因 变 量 的 自 变 量 共 有 个,,, 通 过 实 验
得 到 以 下 几 组 观 测 数 据
（ （ － ）
根 据 这 些 数 据, 在 与 之 间 欲 配 线 性 回 归 方 程
＝ b +b x +b x + +b x （ － ）
用 最 小 二 乘 法, 选 择 参 数 b,b b,使 离 差 平 方 和 达 最 小,
即 使
b,b b )= ? ?
2
t 0 1 1t k kt
1
y b +b x + +b x 7 28
N
t ?
???
????
N
t=1
－ （ － ）
最 小
43
0
1
k
Q
0
b
Q
0
b
7 29
Q
0
b
7 29
?
?
?
?
?
?
?
?
?
?
?
11 1 12 2 1k k 1y
21 1 22 2 2k k 2y
由 数 学 分 析 中 求 极 小 值 原 理 得
＝
＝
（ － ）
＝
化 简 并 整 理 （ － ） 可 得 下 列 方 程 组
l b +l b + +l b =l
l b +l b + +l b =l
11 12 1k 1 1y
21 22 2k 2 2y
k1 k2 kk ky
0 1 1
7 30
7 30
l 1 l l
l l l l
( 7 30
l l l lk
kk
b
b
b
b y b x b x
?
?
?
?
?
?
?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
??
k1 1 k2 2 kk k ky
（ － ）
l b +l b + +l b =l
将 （ － ） 写 成 矩 阵 形 势 为
－ ）
7 31（ － ）
44
? ? ? ?
11
N
ij ji it i jt j
t=1
N
it jt
t=1 1 1
11
y =,
n
i =1,2,k
l =l = x x x x i,j =1,2 k
1
= x x 7 30 a
NN
i i it
tt
NN
it jt
tt
y x x
n
xx
n
??
??
?
? ? ? ?
? ? ? ?
? ? ? ?
??
?
? ? ?
其 中
--
－ （ － ）
? ? ? ?
? ?
N
iy t
t=1
N
it t
t=1 1 1
k
l =,1,2
1
= x y 7 3 0b
n
7 30
Q
b b b
it i
NN
it t
tt
x x y y i k
xy
??
? ? ?
? ? ? ?
? ? ? ?
? ? ? ?
?
? ? ?
0 1 n 0 1 n
01
－ （ － ）
方 程 组 （ － ） 称 为 正 规 方 程
解 正 规 方 程, 可 得 使 b,b b 达 最 小 参 数 b,b b, 其 中
为 常 数 项, 为 回 归 系 数
45
? ?
yy
2
2
2
11
3.
l Q U ( 7- 32 )
1
NN
tt
tt
yy
n
??
??
??
??
??
? ? ?
N
yy t
t=1
多 元 线 性 回 归 方 差 分 析
与 一 元 线 性 回 归 情 形 类 似, 对 多 元 线 性 回 归 我 们 有 平 方 和 分 解 公 式,
＝ ＋
其 中 l = y -y
46
? ?
? ?
? ?
2
1
2
11
2
2
?
?
UQ
U
E Q / ( 7- 33)
Q / r
N
t
t
NN
t i iy
ti
Q y y
U y y b l
?
?
??
??
? ? ?
?? ?
??
?
??
i 0 1 it 2 2t k kt
1 1y 2 2y k ky
而 y =b +b x +b x + +b x t=1,2 n
还 称 为 回 归 平 方 和, 为 剩 余 平 方 和 。
跟 一 元 线 性 回 归 类 似, 我 们 有 ＝ b l +b l + +b l
具 体 计 算 时, 用 这 个 公 式 比 较 方 便 的 。
我 们 有 n-k-1
实 际 上, 可 以 证 明 服 从 自 由? ?
? ?
2
2
2 2 2
1
? Q /
? ? S 2
S ( 7- 34)
S
nk ?
?
? ? ?
??度 为 的 分 布
记 ＝ n-k-1
式 （ 7 － 33 ） 表 明 是 的 无 扁 估 计, 实 际 中 常 用 来 表 示 。
＝ Q/(n-k-1)
又 叫 剩 余 标 准 差 。
47
2
0.1 0.05 0.01
F Y k
F
F ( 7- 35)
F ( k,n- k- 1),F ( k,n- k- 1),F ( k,n- k- 1)
7 35
U
kS
?
1 2 k
可 以 利 用 检 验 对 整 个 回 归 进 行 显 著 性 检 验, 即 与 所 考 虑 的 个 自 变 量
x,x x 之 间 的 线 性 关 系 究 竟 是 否 显 著, 检 验 方 法 与 一 元 线 性 回 归 的
检 验 相 同 。 只 是 这 里 仅 能 对 总 回 归 作 出 检 验
U/k
=
Q/(n-k-1)
检 验 的 时 候, 分 别 查 出 临 界 值,
并 与 （ －
0.01
0.05 0.01
0.1 0.05
0.1
F
F F ( k,n- k- 1),0.01
F ( k,n- k- 1) F F ( k,n- k- 1) 0.05
F ( k,n- k- 1) F <F ( k,n- k- 1)
F <F ( k,n- k- 1) Y k
?
??
?
） 计 算 的 值 比 较 。
若 认 为 回 归 高 度 显 著 或 称 在 水 平 上 显 著
。 认 为 回 归 在 水 平 上 显 著
则 称 回 归 在 0.01 水 平 上 显 著 。
若, 则 回 归 不 显 著, 此 时 与 这 个 自 变 量 的 线 性 关 系 就
不 确 切 。
48
多元线性回归方差分析表
变差来源 自由度 F i t
U / k
均方
总和
k
n - k- 1
n - 1
平方和
回归
剩余
? ?
2
11
?
NN
t i i y
ti
U y y b l
??
? ? ???
? ?
2
1
?
N
t
yy
t
Q y y l U
?
? ? ? ??
? ?
2
?
N
y y t
t=1
l = y -y
2
/U kS
2
1
Q
S
nk
?
??
49
4．偏回归平方和与因素主次的差别
前面讲的有关多元线性回归的内容，纯属一元情形的推广，
只是形式上复杂一些而已，而偏回归平方和与因素主次的差
别则是多元回归问题所特有的。
先从判别因素的主次说起。在实际工作中,我们还关心 Y对
x1,x2,··xk的线性回归中,哪些因素 (即自变量 )更重要些,哪些不
重要,怎栏来衡量某个特定因素（ｉ＝１，２,… ｋ）的影响
呢?我们知道,回归平方和 U这个量,刻划了全体自变量 x1,x2,··xk
对于 Y总的线性影响,为了研究 xk的作用,可以这样来考虑,从原
来的ｋ个自变量中扣除 xk,我们知道这ｋ－１个自变量
x1,x2,··xk-1 对于 Y的总的线性影响也是一个回归平方和,记作
U(k) ；我们称 Pk=U-U(k)
50
为 x1,x2,··xk中 xk的偏回归平方和。这个偏回归平方和也
可看作 xk产生的作用,类似地,可定义为 U(i),
一般地,称
Pi=U-U(i)
为 x1,x2,··xk 中ｘ i的偏回归平方和。用它来衡量ｘ i在 Y
对 x1,x2,··xk的线性回归中的作用的大小。
51
? ? ? ?
12
*
j
j
*
j
j
ij ij
Y,
Yk
b
b
b j i ( 7- 37)
b
C ij l C C
k
i
ij
i
ii
x x x
x
C
b
C
??
k*k
为 了 得 出 偏 回 归 平 方 和 的 计 算 公 式 。 我 们 首 先 在 回 归 方 程 中 取 消 某 个 自 变
量 时, 其 他 变 量 回 归 类 系 数 的 改 变 公 式 。 设 在 对 的 多 元 线 性 回 归
中, 取 消 一 个 自 变 量, 则 对 剩 下 的 － 1 自 变 量 的 回 归 系 数 与 原 来 的 回
归 系 数 之 间 有 关 系
＝
式 中 是 回 归 正 规 方 程 系 数 矩 阵, 是 的 逆 矩 阵 ＝ 的 元 素 。
在 总 回 归 中 取 消 自 变
? ?
i
i
ij
k* k
x
P ( 7- 38)
l
2
i
ii
ii
量 所 引 起 的 回 归 平 方 和 的 减 小, 可 以 从 上 面 回 归 系 数
的 改 变 的 公 式 中 推 出 。 在 这 里 我 们 也 仅 给 出 结 果 而 不 详 细, 此 数 值 为
b
=
c
其 中 c 是 回 归 正 规 方 程 系 数 矩 阵, 的 逆 矩 阵 对 角 线 上 的 第 个 元 素 。
52
从偏回归平方和的意义可以看出,凡是对 Y作用显著的因
素一般具有较大的Ｐ i值。Ｐ i愈大,该因素对 Y的作用也就愈大,
这样通过比较各个因素的 Pｉ值就可以大致看出各个因素对因
,在计算了偏回归平方和后,
对各因素的分析可以按下面步骤进行,
① 凡是偏回归平方和大的,也就是显著性的那些因素,一定是对 Y有重要
影响的因素。至于偏回归平方和大到什么程度才算显著,要对它作检
验,检验的方法与本节中对总回归的检验法类似。
为此,我们要先计算
2
2 2
ii
i
ii
Pb
F
S CS
??
53
其中 S ２即是方差分析计算中的剩余方差,Fｉ自由度为
（１，Ｎ－ｋ－１）,于是在给定的显著性水平 α，按前面的 F
检验法,
② 凡是偏回归平方和小的,即不显著的变量 ;则可肯定偏回归平方
和最小的那个因素必然是在这些因素中对 Y作用最小的一个,
此时应该从回归方程中将变量剔除。剔除一个变量后,各因素
的偏回归平方和的大小一般的都会有所改变,这时应该对它们
另外需要说明一下就是,在通常情况下,各因素的偏回归平
方和相加并不等于回归平方和。
只有当正规方程的系数矩阵为对角型
54
11
22
kk
11
22
kk
2
1 1 1
0
l
0 l
1
0
1
C
l
1
0
l
U
U
k k k k
i
i iy i ii
i
ii
i i i
l
L
l
b
b l b l P
c
? ? ?
??
??
??
?
??
??
??
??
??
??
??
??
??
??
??
??
? ? ?
? ? ? ?
时, 由 于 此 时 它 的 逆 矩 阵 为
＝
从 而 回 归 平 方 和 为
＝
即 等 于 所 有 因 素 的 偏 回 归 平 方 的 和
2
3
? 变量 S的值随 t而定，这就是说，如果 t去了固定
值，那么 S的值就完全确定了
? 这种关系就是所谓的函数关系或确定性关系
? 回归分析方法是处理变量之间相关关系的有理
工具，它不仅提供建立变量间关系的数学表达式 —
— 经验公式，而且利用概率统计知识进行了分析讨
论，从而判断经验公式的正确性
4
? 二、回归分析所能解决的问题
? 回归分析主要解决以下几方面的问题,
? （ 1）确定几个特定变量之间是否存在相关关系，
如果存在的话，找出她们之间合适的数学表达式
? （ 2）根据一个或几个变量的值，预报或控制另一
个变量的取值，并且要知道这种预报或控制的精确
度
? （ 3）进行因素分析，确定因素的主次以及因素之
间的相互关系等等
5
? 一元线性回归分析，只要解决,
? （ 1）求变量 x与 y之间的回归直线方程
? （ 2）判断变量 x和 y之间是否确为线性关系
? （ 3）根据一个变量的值，预测或控制另一变量
的取值
6
?二、一元线性回归方程的确定
i
y ( 1,2,...,)
xy
xy
iN?
数学上判定直线合理的原则：
如果直线与全部观测数据 的离差平方和，
比任何其它直线与全部观测数据的离差平方和更小，该
直线就是代表 与 之间关系较为合理的一条直线，这条
直线就是 和 之间的回归直线。
7
*
*
**
*
,) ( 1,2,
...,) x y
()
ii
i
i i i i i
i i i
i
y a bx x y i
N
x y a bx
y a bx y x y
y y y a bx
y
? ? ?
??
??
? ? ? ?
设 是平面上的一条任意直线，(
是变量, 的一组观测数据。
那么，对于每一个,在直线 上确可以确定一
个 的值,与 处实际观测值 的差：
就刻画了 与直线偏离度
8
x
y
1x
(,)iixy
^(,)
iixy
^y a bx??
9
*
* 22
11
( 1,2,...,) ( 1,2,...,)
( ) ( )
( 1,2,...,)
,
a b Q
ii
NN
i i i i
ii
i
y i N y i N
Q y y y a bx
Q y i N
Q x y
??
??
? ? ? ? ?
?
??
全部观测值 与直线上对于的
的离差平方和则为：
反映了全部观测值 对直线的偏离程度，显
然，离差平方和 越小，愈能较好地表示 之间的关系。
用最小二乘法原理，通过选择合适的系数,,使 最小
10
1
1
__
1 1 1 1
_
222
11
__
2 ( ) 0 ( 6 1 )
2 ( ) 0 ( 6 2)
1
( ) ( )
( 6 3 )
1
( ) ( )
( 6 4)
N
ii
i
N
i i i
i
N N N N
i i i i i i
i i i i
NN
i i i
ii
Q
y a bx
a
Q
y a bx x
b
x x y y x y x y
N
x x x x
N
a y b x
?
?
? ? ? ?
??
?
? ? ? ? ? ?
?
?
? ? ? ? ? ?
?
? ? ?
??
??
? ? ?
?
?
? ? ? ?
? ? ?
N
i=1
联合求解得：
b=
11
__
11
^
11
,( 6 5 )
ab
( 6 6)
b
NN
ii
ii
x x y y
NN
y a bx
??
? ? ?
? ? ?
??此处
求得, 后，回归方程为：
便可以确定,称为回归系数
12
?三、回归方程检验方法
? （一）方差分析法
? 回顾方差分析的基本特点,
? 把所给数据的总波动分解为两部分，一部分反映水平
变化引起的波动，另一部分反映由于存在试验误差而引起
的波动。然后把各因素水平变化引起的波动与试验误差引
起的波动大小进行比较，而达到检验因素显著性的目的,
13
^
__ ^^
22
_^^
22
(,) ( 1,2,...,) x y
xy
( ) [ ( ) ( ) ]
( ) ( )
i i i
ii
i
y y i i i i
i i i
x y i N x
y x y a bx
y
L y y y y y y
y y y y
?
??
? ? ? ? ? ?
? ? ? ?
??
?
_
NN
i=1 i=1
N
i=1 i=1
设 为变量, 间的一组观测数据，
为观测点,为 处的观测之,为这组观测数据
求得的变量, 间的回归方程，在回归问题中，观测数
据总的波动情况，用各观测值 与总平均y 之间的平方和
即总变动平方和表示
_^^
2 ( ) ( )
i i i
y y y y? ? ?
??
NN
i=1
14
^
2
_^
2
()
( ) ( 6 8 )
x y y
( 6 9)
ii
i
Q y y
Q
U y y
UQ
??
? ? ?
? ? ?
?
?
U
N
i=1
N
i=1
yy
第一项
是观测值与回归直线的离差平方和，反映了误差的大小
第二项
反映了总变动中，由于 与 的线性关系而引起 变化的
一部分，称为回归平方和
第三项为零
L
15
U
Q
UQ
N
N2
UQ
f
f
f
f
f f f??
yy
yy 总
总
总
每一个变动平方和（即L,, ）都有一个“自由度”
和它们对应，L 自由度称为总自由度，记做 。
＝观测值个数－1＝ －1
＝1
＝－
三者之间仍然有：
16
a
a
F
( 2)
2 a 0.05 0.01 F
( 1,2)
FF
FF
U
N
Q
N
??
?
u
Q
a
可用 检验考察回归直线的显著性：
U/f
（1）计算F=
Q/f
（ ）对于选定的显著性水平 ＝ （或 ），从 分布
上找出临界值F
（3）比较 与 的大小。
若 >,则回归方程有意义，反之则说明方程意义不大
17
? （二）相关系数检验法
__^
22
_
22
_^^
2
__
22
2
__
22
( ) [ ( ) ( ) ]
()
[ ( ) ( ) ]
( ) ( )
1 ( 6 11 )
( ) ( )
ii
i
y y i i i
i i i
ii
U y y U a bx a b x
b x x
L y y y y
y y x x
b
y y y y
? ? ? ? ? ? ?
??
? ? ? ?
??
? ? ?
??
??
?
?
??
??
NN
i=1 i=1
N
i=1
N
i=1
NN
i=1 i=1
NN
i=1 i=1
由
代入 整理后可得
18
_ ^
22
22
__
22
_
2
_
2
( ) ( )
1 ( 6 12)
( ) ( )
()
()
i i i
ii
i
i
x x y y
rb
y y y y
xx
rb
yy
??
? ? ? ?
??
?
??
?
??
??
?
?
NN
i=1 i=1
NN
i=1 i=1
N
i=1
N
i=1
令
19
_
2
^
_
2
1 y x
()
,1,
()
i
ii
i
yy
y y r b
xx
?
? ? ?
?
?
?
N
i=1
N
i=1
下面存在三种情形：
（） 与 有严格函数关系时
x
y 1r?
x
y 1r??
20
_^
2 y x
,0,0y y r b? ? ?
（ ） 与 无任何依赖关系时
x
y 0r?
x
y 0r?
21
3 y x
r
（） 与 存在相关关系时
0< | |< 1
x
y 10r? ? ?
x
y 01r??
22
___
2
1
_
__
2
22
11
yx
r
( ) ( )()
()
( ) ( )
N
iii
i
NN
i
ii
ii
xy
x x y y
x x y yxx
rb
yy
x x y y
l
ll
?
??
???
?
?
??
?
??
? ??
N
i=1
N
i=1
检验 与 是否相关的步骤：
（1）按 下式计算,
＝
23
,
,
,
,
2 f n 2
3 | |
| | x y
| | x y
af
af
af
af
r
rr
rr
rr
?
?
?
（ ）给定显著行水平,按自由度 ＝ －,由相关系数
临界表中查处临界值 。
（）比较 与 的大小。
若,认为 与 之间存在线性相关关系；
若,认为 与 之间不存在线性相关关系。
24
n-2
1
2
3
4
5
6
7
8
9
10
0.05 0.01
0.997
0.950
0.878
0.811
0.754
0.707
0.666
0.632
0.602
0.576
1.000
0.990
0.959
0.917
0.874
0.834
0.798
0.765
0.735
0.708
n-2
11
12
13
14
15
16
17
18
19
20
0.05 0.01
0.553
0.532
0.514
0.479
0.482
0.468
0.456
0.444
0.433
0.413
0.684
0.661
0.641
0.623
0.606
0.590
0.575
0.561
0.549
0.537
n-2
21
22
23
24
25
26
27
28
29
30
0.05 0.01
0.413
0.404
0.396
0.388
0.381
0.374
0.367
0.364
0.355
0.349
0.526
0.515
0.505
0.496
0.487
0.478
0.470
0.463
0.456
0.449
? ? ?
相关系数临界值表
25
?四、预报与控制
? 当我们求得变量 x,y之间的回归直线方程后，
往往通过回归方程回答这样两方面的问题,
? （ 1）对任何一个给定的观测点 x0，推断 y0大致落的范围
? （ 2）若要求观测值 y在一定的范围 y1<y<y2内取值，应将
变量控制在什么地方
? 前者就是所谓的预报问题，后者称为控制问题。
26
^
0 0 0
^
0
^
00
2
y
x y y
y
yy
Q
S
N
?
?
（一）预报问题
一般来说，对于固定 处的观测值,其取值是以 为
中心而对称分布的。愈靠近 的地方，出现的机会愈大，
离 愈元的地方，出现的机会少，而且 的取值范围与量
有下述关系：
27
^
00
^
00
^
00
00
^^
0 0 0
^^
0 0 0
3
2
22
22
y
y
y
yy
yy
yy
y y S
y y S
y y S
x x x
y y S y S
y S y y S
SS
?
?
?
?
??
? ? ? ?
落在 范围内的可能性为99.7％
落在 范围内的可能性为95％
落在 范围内的可能性为68％
利用此关系，对于指定的,我们有95 ％的把握说，在
处的实际观测值 介于 与 之间
即：
这样，预报问题就得到了解决
量 称为剩余标准差。 用来衡量预报的精确度
28
0
1 0 2
1 1 1 1
2 2 2 2 2
1 2 1 2
01
2
23
23
yy
y
y
y y y
a S bx y a S bx y
a S bx y a S bx y
x x x x x
yy
y
??
? ? ? ? ? ?
? ? ? ? ? ?
（二）控制问题
控制问题只不过是预报的反问题。若要求观测值
在 范围内取值，则可从
（或 ）
及 （或 ）
中分别解出,,只要将 的取值控制在 与 之间，
我们就能以9 5％ （或99,7％ ）的把握保证,在 与
范围内取值。
29
1
2
2 ( 6 17 )
2 ( 6 18 )
y
y
y a bx S
y a bx S
? ? ? ?
? ? ? ?
进行预报和控制，通常也采用图解法。其作法是：在
散点图上作两条平行与回归直线的直线
x
y 2 yy a b x S? ? ?
^y a bx??
1x 2x
1y
2y
2 yy a b x S? ? ?
0b?
x
y
2 yy a b x S? ? ?
2 yy a b x S? ? ?
^y a bx??
1x 2x
1y
2y
0b?
30
12
95x
yy
xx
可以预测在 附近的一系列观测值中，％将落在这两条
直线所夹成的带行趋于中，若要求在 与 范围内取值，
则只需要图中虚线所示的对于关系，可在 轴上找到
值的控制范围。
31
?五、应用举例
? 例 6－ 1 在某产品表明腐蚀刻线，下表是试
验活得的腐蚀时间（ x）与腐蚀深度（ y）间的
一组数据。试研究两变量（ x,y）之间的关系。
腐蚀时间 x（秒）
腐蚀深度 y（ μ）
5 5 10 20 30 40 50 60 65 90 120
4 6 8 13 16 17 19 25 25 29 46
?
32
ii作散点图，即（x,y ）图
40
30
20
10
y
x 10 20 30 40 50 60 70 80 90 100 110 120
xy可见 与 之间无确定的函数关系，而表现为相关关系
33
_
222
1 1 1
_
222
1 1 1
__
1 1 1 1
__
2
1
1
( ) ( )
1
( ) ( )
1
( ) ( ) ( ) ( )
( 6 19)
( 6 20) ( 6 21 )
N N N
x x i i i
i i i
N N N
y y i i i
i i i
N N N N
x y i i i i i i
i i i i
xy
xx
x y x y
xx
x x y y
L x x x x
N
L y y y y
N
L x x y y x y x y
N
L
a y b x b
L
lL
rU
Lll
? ? ?
? ? ?
? ? ? ?
? ? ? ?
? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ?
? ? ?
? ? ?
? ? ? ?
（）求回归直线
记
34
序号
1
2
3
4
5
6
7
8
9
10
11
x y 2x 2y xy
?
5
5
10
20
30
40
50
60
65
90
120
495
4
6
8
13
16
17
19
25
25
29
46
208
25
25
100
400
900
1600
2500
3600
4225
8100
14400
35875
16
36
64
169
256
289
361
625
625
841
2116
5398
20
30
80
260
480
680
950
1500
1625
2610
5520
13755
35
2 2 2 2
1 1 1 1 1
__
2
495 208
11 11
1 48345
13755 495 208
11 11
1 149600
35875 495
11 11
N N N N N
i i i i i i i i i i
i i i i i
xy
xx
x y x y x y x y x y
xy
L
L
? ? ? ? ?
??
? ? ? ? ?
? ? ? ?
? ? ? ? ?
具体计算格式如下：
列表计算,, 以及,,,,
36
__
,0.05,9
,
48345
0.328
149600
208 495
0.323 4.37
11 11
4.37,323
2
0.521
||
xy
xx
xy
x x y y
f
f
L
b
L
a y b x
yx
l
r
ll
rr
rr
?
?
? ? ? ?
? ? ? ? ? ?
? ? ?
?
??
??
回归方程为：
（ ）显著性检验
相关系数 ＝0.98
回归方程有意义
37
0
^
0
^
0
^
0
3
2 45
2.24
9
0.75
4.37,323 4.37 0.32,75 28.6( )
2 28.6 2 2.24 24.12( )
2 28.6 2 2.24 33.08 ( )
y
y
y
s
NQ
x
yx
ys
ys
?
?
?
? ? ?
?
?
? ? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
（）预报与控制
首先计算
现在可以来回答两个问题
1 ）预测当腐蚀时间 秒时的腐蚀深度
由回归方程
38
0
1
2
1
2
95 0.75
24.12 33.08
2) 10 20
2 10
2 20
31.3
34.5
y
y
x
y
xs
xs
x
x
??
?
?
??
??
??
?
?
故有 ％的把握回答,秒的腐蚀深度范围为：
若要求克现深度在 ～ 之间，应将腐蚀时间控制
在什么范围：
解方程 4.37+0.323
4.37+0.323
得秒
秒
故知应将腐蚀时间控制在32～34秒内
39
§ 5－ 2 多元回归分析方法
40
一、多元回归分析概述
上节讨论的只是两个变量的回归问题，其中因
变量只与一个自变量相关。但这只是最简单的情况，
在大多数的实际问题中，影响因变量的因素不是一
个而是多个，我们称这类回问题为多元回归分析。
我们这里着重讨论简单而又最一般的线性回归
问题，这是因为许多非线性的情形可以化为线性回
归来做。多元线性回归分析的原理与一元线性回归
分析完全相同，但在计算上却要复杂得多。不过，
应用计算机多元回归的计算量是很小的，一般的计
算机都有多元回归（以及逐步回归方法）的专门程
序
。
41
12
11 21 1
2 12 22 2
12
ij i j
0 1 11 2 21 1 1
0 1 12 2 2
1.
x,x
Y
( ;,)
( ;,)
( ;,)
x x j y Y j
k
k
n n n k n
kk
y x x x
y x x x
y x x x
b b x b x b x
b b x b x
?
?
?? ? ? ? ? ?
? ? ?
k
0 1 1 k k
1
1
2
模 型
设 因 变 量,,x,有 关 系 ；
＝ b +b x + +b x + (7-24)
其 中 是 随 机 项, 现 有 几 组 数 据,
（ 其 中 是 自 变 量 的 第 个 值 ； 是 的 第 个 观 察 值 ）
假 设, y
y
2 2 2
0 1 1 2 2
0 1 1 2 n
,,
N 0 1
kk
n n k k n n
k
bx
b b x b x b x
b b b
?
?
? ? ?
?
? ? ?
? ? ? ? ? ?
n
y
其 中 是 待 估 参 数 ； 而, 相 互 独 立 且 服 从
相 同 的 标 准 正 态 分 布 （, ）, （ 未 知 ）
42
1 2 k
1 2 kt
k
2
2.
Y k x x x
,,; ),1,2 7 26
y x x
y 7 27
Q ( ( )
t t t
t
x x x y t N
yy
?
?
1
0 1 1 2 2 k k
0 1 k
0 1 k
最 小 二 乘 法 与 正 规 方 程
设 影 响 因 变 量 的 自 变 量 共 有 个,,, 通 过 实 验
得 到 以 下 几 组 观 测 数 据
（ （ － ）
根 据 这 些 数 据, 在 与 之 间 欲 配 线 性 回 归 方 程
＝ b +b x +b x + +b x （ － ）
用 最 小 二 乘 法, 选 择 参 数 b,b b,使 离 差 平 方 和 达 最 小,
即 使
b,b b )= ? ?
2
t 0 1 1t k kt
1
y b +b x + +b x 7 28
N
t ?
???
????
N
t=1
－ （ － ）
最 小
43
0
1
k
Q
0
b
Q
0
b
7 29
Q
0
b
7 29
?
?
?
?
?
?
?
?
?
?
?
11 1 12 2 1k k 1y
21 1 22 2 2k k 2y
由 数 学 分 析 中 求 极 小 值 原 理 得
＝
＝
（ － ）
＝
化 简 并 整 理 （ － ） 可 得 下 列 方 程 组
l b +l b + +l b =l
l b +l b + +l b =l
11 12 1k 1 1y
21 22 2k 2 2y
k1 k2 kk ky
0 1 1
7 30
7 30
l 1 l l
l l l l
( 7 30
l l l lk
kk
b
b
b
b y b x b x
?
?
?
?
?
?
?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
?
? ? ? ? ? ?
? ? ? ? ? ?
? ? ? ? ? ?
??
k1 1 k2 2 kk k ky
（ － ）
l b +l b + +l b =l
将 （ － ） 写 成 矩 阵 形 势 为
－ ）
7 31（ － ）
44
? ? ? ?
11
N
ij ji it i jt j
t=1
N
it jt
t=1 1 1
11
y =,
n
i =1,2,k
l =l = x x x x i,j =1,2 k
1
= x x 7 30 a
NN
i i it
tt
NN
it jt
tt
y x x
n
xx
n
??
??
?
? ? ? ?
? ? ? ?
? ? ? ?
??
?
? ? ?
其 中
--
－ （ － ）
? ? ? ?
? ?
N
iy t
t=1
N
it t
t=1 1 1
k
l =,1,2
1
= x y 7 3 0b
n
7 30
Q
b b b
it i
NN
it t
tt
x x y y i k
xy
??
? ? ?
? ? ? ?
? ? ? ?
? ? ? ?
?
? ? ?
0 1 n 0 1 n
01
－ （ － ）
方 程 组 （ － ） 称 为 正 规 方 程
解 正 规 方 程, 可 得 使 b,b b 达 最 小 参 数 b,b b, 其 中
为 常 数 项, 为 回 归 系 数
45
? ?
yy
2
2
2
11
3.
l Q U ( 7- 32 )
1
NN
tt
tt
yy
n
??
??
??
??
??
? ? ?
N
yy t
t=1
多 元 线 性 回 归 方 差 分 析
与 一 元 线 性 回 归 情 形 类 似, 对 多 元 线 性 回 归 我 们 有 平 方 和 分 解 公 式,
＝ ＋
其 中 l = y -y
46
? ?
? ?
? ?
2
1
2
11
2
2
?
?
UQ
U
E Q / ( 7- 33)
Q / r
N
t
t
NN
t i iy
ti
Q y y
U y y b l
?
?
??
??
? ? ?
?? ?
??
?
??
i 0 1 it 2 2t k kt
1 1y 2 2y k ky
而 y =b +b x +b x + +b x t=1,2 n
还 称 为 回 归 平 方 和, 为 剩 余 平 方 和 。
跟 一 元 线 性 回 归 类 似, 我 们 有 ＝ b l +b l + +b l
具 体 计 算 时, 用 这 个 公 式 比 较 方 便 的 。
我 们 有 n-k-1
实 际 上, 可 以 证 明 服 从 自 由? ?
? ?
2
2
2 2 2
1
? Q /
? ? S 2
S ( 7- 34)
S
nk ?
?
? ? ?
??度 为 的 分 布
记 ＝ n-k-1
式 （ 7 － 33 ） 表 明 是 的 无 扁 估 计, 实 际 中 常 用 来 表 示 。
＝ Q/(n-k-1)
又 叫 剩 余 标 准 差 。
47
2
0.1 0.05 0.01
F Y k
F
F ( 7- 35)
F ( k,n- k- 1),F ( k,n- k- 1),F ( k,n- k- 1)
7 35
U
kS
?
1 2 k
可 以 利 用 检 验 对 整 个 回 归 进 行 显 著 性 检 验, 即 与 所 考 虑 的 个 自 变 量
x,x x 之 间 的 线 性 关 系 究 竟 是 否 显 著, 检 验 方 法 与 一 元 线 性 回 归 的
检 验 相 同 。 只 是 这 里 仅 能 对 总 回 归 作 出 检 验
U/k
=
Q/(n-k-1)
检 验 的 时 候, 分 别 查 出 临 界 值,
并 与 （ －
0.01
0.05 0.01
0.1 0.05
0.1
F
F F ( k,n- k- 1),0.01
F ( k,n- k- 1) F F ( k,n- k- 1) 0.05
F ( k,n- k- 1) F <F ( k,n- k- 1)
F <F ( k,n- k- 1) Y k
?
??
?
） 计 算 的 值 比 较 。
若 认 为 回 归 高 度 显 著 或 称 在 水 平 上 显 著
。 认 为 回 归 在 水 平 上 显 著
则 称 回 归 在 0.01 水 平 上 显 著 。
若, 则 回 归 不 显 著, 此 时 与 这 个 自 变 量 的 线 性 关 系 就
不 确 切 。
48
多元线性回归方差分析表
变差来源 自由度 F i t
U / k
均方
总和
k
n - k- 1
n - 1
平方和
回归
剩余
? ?
2
11
?
NN
t i i y
ti
U y y b l
??
? ? ???
? ?
2
1
?
N
t
yy
t
Q y y l U
?
? ? ? ??
? ?
2
?
N
y y t
t=1
l = y -y
2
/U kS
2
1
Q
S
nk
?
??
49
4．偏回归平方和与因素主次的差别
前面讲的有关多元线性回归的内容，纯属一元情形的推广，
只是形式上复杂一些而已，而偏回归平方和与因素主次的差
别则是多元回归问题所特有的。
先从判别因素的主次说起。在实际工作中,我们还关心 Y对
x1,x2,··xk的线性回归中,哪些因素 (即自变量 )更重要些,哪些不
重要,怎栏来衡量某个特定因素（ｉ＝１，２,… ｋ）的影响
呢?我们知道,回归平方和 U这个量,刻划了全体自变量 x1,x2,··xk
对于 Y总的线性影响,为了研究 xk的作用,可以这样来考虑,从原
来的ｋ个自变量中扣除 xk,我们知道这ｋ－１个自变量
x1,x2,··xk-1 对于 Y的总的线性影响也是一个回归平方和,记作
U(k) ；我们称 Pk=U-U(k)
50
为 x1,x2,··xk中 xk的偏回归平方和。这个偏回归平方和也
可看作 xk产生的作用,类似地,可定义为 U(i),
一般地,称
Pi=U-U(i)
为 x1,x2,··xk 中ｘ i的偏回归平方和。用它来衡量ｘ i在 Y
对 x1,x2,··xk的线性回归中的作用的大小。
51
? ? ? ?
12
*
j
j
*
j
j
ij ij
Y,
Yk
b
b
b j i ( 7- 37)
b
C ij l C C
k
i
ij
i
ii
x x x
x
C
b
C
??
k*k
为 了 得 出 偏 回 归 平 方 和 的 计 算 公 式 。 我 们 首 先 在 回 归 方 程 中 取 消 某 个 自 变
量 时, 其 他 变 量 回 归 类 系 数 的 改 变 公 式 。 设 在 对 的 多 元 线 性 回 归
中, 取 消 一 个 自 变 量, 则 对 剩 下 的 － 1 自 变 量 的 回 归 系 数 与 原 来 的 回
归 系 数 之 间 有 关 系
＝
式 中 是 回 归 正 规 方 程 系 数 矩 阵, 是 的 逆 矩 阵 ＝ 的 元 素 。
在 总 回 归 中 取 消 自 变
? ?
i
i
ij
k* k
x
P ( 7- 38)
l
2
i
ii
ii
量 所 引 起 的 回 归 平 方 和 的 减 小, 可 以 从 上 面 回 归 系 数
的 改 变 的 公 式 中 推 出 。 在 这 里 我 们 也 仅 给 出 结 果 而 不 详 细, 此 数 值 为
b
=
c
其 中 c 是 回 归 正 规 方 程 系 数 矩 阵, 的 逆 矩 阵 对 角 线 上 的 第 个 元 素 。
52
从偏回归平方和的意义可以看出,凡是对 Y作用显著的因
素一般具有较大的Ｐ i值。Ｐ i愈大,该因素对 Y的作用也就愈大,
这样通过比较各个因素的 Pｉ值就可以大致看出各个因素对因
,在计算了偏回归平方和后,
对各因素的分析可以按下面步骤进行,
① 凡是偏回归平方和大的,也就是显著性的那些因素,一定是对 Y有重要
影响的因素。至于偏回归平方和大到什么程度才算显著,要对它作检
验,检验的方法与本节中对总回归的检验法类似。
为此,我们要先计算
2
2 2
ii
i
ii
Pb
F
S CS
??
53
其中 S ２即是方差分析计算中的剩余方差,Fｉ自由度为
（１，Ｎ－ｋ－１）,于是在给定的显著性水平 α，按前面的 F
检验法,
② 凡是偏回归平方和小的,即不显著的变量 ;则可肯定偏回归平方
和最小的那个因素必然是在这些因素中对 Y作用最小的一个,
此时应该从回归方程中将变量剔除。剔除一个变量后,各因素
的偏回归平方和的大小一般的都会有所改变,这时应该对它们
另外需要说明一下就是,在通常情况下,各因素的偏回归平
方和相加并不等于回归平方和。
只有当正规方程的系数矩阵为对角型
54
11
22
kk
11
22
kk
2
1 1 1
0
l
0 l
1
0
1
C
l
1
0
l
U
U
k k k k
i
i iy i ii
i
ii
i i i
l
L
l
b
b l b l P
c
? ? ?
??
??
??
?
??
??
??
??
??
??
??
??
??
??
??
??
? ? ?
? ? ? ?
时, 由 于 此 时 它 的 逆 矩 阵 为
＝
从 而 回 归 平 方 和 为
＝
即 等 于 所 有 因 素 的 偏 回 归 平 方 的 和
