上一页 下一页湘潭大学数学与计算科学学院 1
§ 7.2 多元线性回归分析
一, 多无线性回归模型
上节讨论了一元线性回归模型，在实际问题中，遇
到更多的是讨论随机变量 Y 与非随机变量
m
xxx,,,
21
?
之间的关系，本节假设它们具有线性关系
???? ????? mm xxY ?110 （ 7.15）
这里 2102,,,,),,0(~ ?????? mN ? 都是未知参数,1?m 。
一般称由式（ 7.15 ）定义的模型为 多元线性回归模型 。
上一页 下一页湘潭大学数学与计算科学学院 2
一般称
m
xx,,
1
? 为回归变量，
m
??,,
0
? 为回归系数，设
),,2,1)(,,,,(
21
niYxxx
iimii
?? ? 是 ),,,(
1
Yxx
m
? 的 n 个观测，
则它们满足关系
nixxxY
iimmiii
,,1,
22110
?? ??????? ?????,（ 7.16 ）
假设 i? 相互独立且 ),,1)(,0(~ 2 niNi ???? 。
由于假设
i
? 相互独立，由式（ 7.16 ）知
i
Y 亦相互独立，且
immii
xxEY ??? ???? ?
110
,
2
??
i
DY,
则有 ),,1)(,(~
2
110
nixxNY
immii
?? ???? ???? 。
上一页 下一页湘潭大学数学与计算科学学院 3
对式（ 7.15 ）求数学期望
mm xxEY ??? ???? ?110 。
一般称
mm
xxY ??? ???? ?
110
?
为 Y 关于
m
xxx,,,
21
? 的 线性回归方程 。
为了今后讨论方便，引入向量、矩阵记号，则式
（ 7.16）可写成矩阵形式。令 )Y,,Y,(YY
n21 ??, ),,,( 10 mβ ??? ??,
),,,( 21 n???? ??,
上一页 下一页湘潭大学数学与计算科学学院 4
,
1
1
1
21
22221
11211
?
?
?
?
?
?
?
?
?
?
?
?
?
nmnn
m
m
xxx
xxx
xxx
X
?
????
?
?
式（ 7.16 ）的矩阵表达式为 ?? ?? XY, )16.7( ?
?XEY ?,
nIEYYEYYEYY
2))((),c o v ( ?????,
这里
n
I 表 n 阶单位阵。对式（ 7.15 ）给出的 m 无线性回归
模型，通常所考虑的问题是，对未知参数 ? 和
2
? 进行估
计，对 ? 的某种假设进行检验，对 Y 进行预报等，在下述
讨论中，一般总假定
mn ?
和矩阵 X 的秩等于 1?m 。
上一页 下一页湘潭大学数学与计算科学学院 5
二、参数的估计
对式 )16.7( ?,常常采用最小二乘法寻求 ? 的估计量 ? ?,
即寻找 ? 的估计 ? ? 满足下面的条件
? ? ??
? ? ??
?
?
?
?
?
?
???
?
?
?
?
?
?
n
i
n
i
m
j
jiji
m
j
jiji
xYxY
1 1
2
0
2
0
mi n? ??, （ 7.17 ）
这里 ),,,2,1(1
0 nix i ??? 或写成矩阵形式
22 m i n? ?? XYXY ???
。 )17.7( ?
一般可用微分法求式（ 7.17 ）的解 ?? 。
? ?
? ?
??
?
?
?
?
?
?
n
i
ik
m
j
jiji
xxY
1 0
,0?? mk,,1,0 ??,
上一页 下一页湘潭大学数学与计算科学学院 6
将上式变形可写为
? ? ? ??
? ? ? ??
?
?
?
?
?
?
??
n
i
n
i
m
j
j
n
i
ikij
m
j
jikijiki
xxxxxY
1 1 0 10
?? ??, mk,,1,0 ??,
用矩阵表示，上述方程组可写成
??)( XXYX TT ?, （ 7.18 ）
式（ 7.18 ）一般称为正规方程，由于假设了 X 的秩为
1?m,所以 XX
T
是正定矩阵，因而存在逆阵
1
)(
?
XX
T
，
由式（ 7.18 ）可得
YXXX
TT 1
)(?
?
??, （ 7.19 ）
上一页 下一页湘潭大学数学与计算科学学院 7
将 ?? 代入线性回归方程，可得
mm xxY ???
???
110 ???? ? 。 （ 7.20 ）
以后将式（ 7.20 ）亦简称为 线性回归方程,由此出发，
可对 Y 进行预测。
类似上节对一元线性回归模型对
2
? 的讨论，可用统计量
? ?
? ?
?
?
?
?
?
?
?
??
?
n
i
m
j
jiji
xY
mn 1
2
0
* ?
1
1
?
2
?? 。 （ 7.21 ）
作为 2? 的估计，式（ 7.21 ）也可以用矩阵形式表示为
上一页 下一页湘潭大学数学与计算科学学院 8
)?()?(11? 2* ??? XYXYmn T ?????
YXXXXIYmn TTnT ])([11 1?????
)](?[11 YXYYmn TTT ?????
例 7.5 某种水泥在凝固时放出热量 Y （单位,c al ）
与水泥中下列 4 种化学成分有关,
（ 1 ）
1
x, 3CaO · Al 2 O 3 ； （ 2 ）
2
x, 3CaO · SiO 2 ；
（ 3 ）
3
x, 3CaO · Al
2 O 3 · Fe 2 O 3 ；（ 4 ）
4
x, 2CaO · SiO
2 。
通过试验得到数据列于表 7.2 中，求 Y 对
4321
,,xxxx 的线性
回归议程。
上一页 下一页湘潭大学数学与计算科学学院 9
将数据代入式（ 7.9 ），经计算可得
)1 0 1 4 4-9 0, 1 0 1 1 0, 5 1 0 1 1, 5 5 1 2 450.62(
)?,?,?,?,?(
43210
?
?????
则所求的线性回归方程为
1 2 3 4
? 6 2 4 5 0 2 1, 5 5 1 1 0, 5 1 0 1 0, 1 0 1 9 0, 1 4 4 1Y, x x x x? ? ? ? ?
表 7.3 给出了 ii YY ?? 数据表。
上一页 下一页湘潭大学数学与计算科学学院 10
表 7.2
序号
%
1
x
%
2
x
%
3
x
%
4
x
Y
1 7 26 6 60 78.5
2 1 29 15 52 74.3
3 11 56 8 20 104.3
4 11 31 8 47 87.6
5 7 52 6 33 95.9
6 11 55 9 22 109.2
7 3 71 17 6 1 02.7
8 1 31 22 44 72.5
9 2 54 18 22 93.1
10 21 47 4 26 115.9
11 1 40 23 34 83.8
12 11 66 9 12 113.3
13 10 68 8 12 109.4
上一页 下一页湘潭大学数学与计算科学学院 11
表 7.3
序号 i
Y
i
Y
?
ii
YY
?
?
1 78.5 78.50 0.00
2 74.3 72.79 1.51
3 104.3 105.97 - 1.67
4 87.6 89.33 - 1.73
5 95.9 95.65 0.25
6 109.2 105.27 3.93
7 102.7 104.15 - 1.45
8 72.5 75.67 - 3.18
9 93.1 91.72 1.38
10 115.9 115.62 0.28
11 83.8 81.81 1.99
12 113.3 112.33 0.97
13 109.4 111.69 - 2.29
上一页 下一页湘潭大学数学与计算科学学院 12
则
2*
1
)?(
2
?? ??
?
?
?
?
?
??
?
mn
Q
EE 。
从证明过程中还得到如下结论。
推论 1
2/ ?Q 与 2
2
/? ??? XX ? 相互独立，且
)1(~/? 22
2
?? mXX ???? 。
上一页 下一页湘潭大学数学与计算科学学院 13
三、回归系数及回归方程的显著性检验
1、回归系数的显著性检验
所谓回归系数的显著性检验，就是检验假设
? ?mjHH
jj
,,2,10:0,
0
????? ??
是否成立。
若某一系数（如
j
? ）等于零，则变量
j
xY 就无显著的
线性关系，一般在拟合回归方程中可暂时将它 取掉。由于
j
??
是 j? 的无编估计量，
2
??
jjj
CD ?,这里
jj
C 是
1
)(
?
? XXC
T
的
主对角线上的第 1?j 个元素。 ),(~
? 2???
jjjj
CN,注意这里
是从
00
C 算起，
00
C 表 C 的主对角线上的第 1 个元素。
上一页 下一页湘潭大学数学与计算科学学院 14
).1,0(~
?
2 NC
jj
jj
?
?? ?则
而 )1(~
1
2
2
?? mnQ ?
?
且 Q 与
j
?? 独立，则在
0
H 成
立的条件下，有
)1(~
)1/(
?
??
??
? mnt
mnQC
T
jj
j
j
?
。
对给定的显著水平 ?,查表可得 )1(
2/
?? mnt
?
，由样
本值算得 T 的数值 t,若
)1(
2/
??? mntt
j ?
,
则拒绝
0
H,即认为 j? 显著不为零,
上一页 下一页湘潭大学数学与计算科学学院 15
反之，若
)1(
2/
??? mntt
j ?
则接受
0
H,即认为 j? 显著地等于零,
根据
*??
的定义,jT 亦可写为
*?
?
?
?
jj
j
j
C
T ? 。
2、回归方程的显著性检验
就是关于
:0:
1210
HH
m
????? ??? ?
至少有一个 ),,2,1(0 mjj ???? 的检验验问题。
上一页 下一页湘潭大学数学与计算科学学院 16
令 ?
?
?
n
i
iYnY
1
1,考虑如下离差平方和
??
??
??????
n
i
iii
n
i
iT YYYYYYQ
1
2
1
2 )]?()?[()(
BA
n
i
i
n
i
ii QQYYYY ????? ??
??
d e f)?()?(
1
2
1
2
其中
??
??
????
n
i
iB
n
i
iiA YYQYYQ
1
2
1
2 )?(,)?(
在 0H 成立的条件下，可以证明
)(~/),1(~/ 2222 mQmnQ BA ???? ??
上一页 下一页湘潭大学数学与计算科学学院 17
且 AQ 与 BQ 相互独立，则此时有
).1,(~)1())1(/( )/(2
2
???????? mnmFmQ mnQmnQ mQF
A
B
A
B
?
?
对给定的显著水平 ?,可查表得 )1,( ?? mnmF ?,对给
出回归观测值可算得 F 的数值 f,
若
)1,( ??? mnmFf
?
,
则拒绝
0
H,即认为各系数不全为零，线性回归方程是
显著的,
否则接受 0H,即认为线性回归方程不显著。
§ 7.2 多元线性回归分析
一, 多无线性回归模型
上节讨论了一元线性回归模型，在实际问题中，遇
到更多的是讨论随机变量 Y 与非随机变量
m
xxx,,,
21
?
之间的关系，本节假设它们具有线性关系
???? ????? mm xxY ?110 （ 7.15）
这里 2102,,,,),,0(~ ?????? mN ? 都是未知参数,1?m 。
一般称由式（ 7.15 ）定义的模型为 多元线性回归模型 。
上一页 下一页湘潭大学数学与计算科学学院 2
一般称
m
xx,,
1
? 为回归变量，
m
??,,
0
? 为回归系数，设
),,2,1)(,,,,(
21
niYxxx
iimii
?? ? 是 ),,,(
1
Yxx
m
? 的 n 个观测，
则它们满足关系
nixxxY
iimmiii
,,1,
22110
?? ??????? ?????,（ 7.16 ）
假设 i? 相互独立且 ),,1)(,0(~ 2 niNi ???? 。
由于假设
i
? 相互独立，由式（ 7.16 ）知
i
Y 亦相互独立，且
immii
xxEY ??? ???? ?
110
,
2
??
i
DY,
则有 ),,1)(,(~
2
110
nixxNY
immii
?? ???? ???? 。
上一页 下一页湘潭大学数学与计算科学学院 3
对式（ 7.15 ）求数学期望
mm xxEY ??? ???? ?110 。
一般称
mm
xxY ??? ???? ?
110
?
为 Y 关于
m
xxx,,,
21
? 的 线性回归方程 。
为了今后讨论方便，引入向量、矩阵记号，则式
（ 7.16）可写成矩阵形式。令 )Y,,Y,(YY
n21 ??, ),,,( 10 mβ ??? ??,
),,,( 21 n???? ??,
上一页 下一页湘潭大学数学与计算科学学院 4
,
1
1
1
21
22221
11211
?
?
?
?
?
?
?
?
?
?
?
?
?
nmnn
m
m
xxx
xxx
xxx
X
?
????
?
?
式（ 7.16 ）的矩阵表达式为 ?? ?? XY, )16.7( ?
?XEY ?,
nIEYYEYYEYY
2))((),c o v ( ?????,
这里
n
I 表 n 阶单位阵。对式（ 7.15 ）给出的 m 无线性回归
模型，通常所考虑的问题是，对未知参数 ? 和
2
? 进行估
计，对 ? 的某种假设进行检验，对 Y 进行预报等，在下述
讨论中，一般总假定
mn ?
和矩阵 X 的秩等于 1?m 。
上一页 下一页湘潭大学数学与计算科学学院 5
二、参数的估计
对式 )16.7( ?,常常采用最小二乘法寻求 ? 的估计量 ? ?,
即寻找 ? 的估计 ? ? 满足下面的条件
? ? ??
? ? ??
?
?
?
?
?
?
???
?
?
?
?
?
?
n
i
n
i
m
j
jiji
m
j
jiji
xYxY
1 1
2
0
2
0
mi n? ??, （ 7.17 ）
这里 ),,,2,1(1
0 nix i ??? 或写成矩阵形式
22 m i n? ?? XYXY ???
。 )17.7( ?
一般可用微分法求式（ 7.17 ）的解 ?? 。
? ?
? ?
??
?
?
?
?
?
?
n
i
ik
m
j
jiji
xxY
1 0
,0?? mk,,1,0 ??,
上一页 下一页湘潭大学数学与计算科学学院 6
将上式变形可写为
? ? ? ??
? ? ? ??
?
?
?
?
?
?
??
n
i
n
i
m
j
j
n
i
ikij
m
j
jikijiki
xxxxxY
1 1 0 10
?? ??, mk,,1,0 ??,
用矩阵表示，上述方程组可写成
??)( XXYX TT ?, （ 7.18 ）
式（ 7.18 ）一般称为正规方程，由于假设了 X 的秩为
1?m,所以 XX
T
是正定矩阵，因而存在逆阵
1
)(
?
XX
T
，
由式（ 7.18 ）可得
YXXX
TT 1
)(?
?
??, （ 7.19 ）
上一页 下一页湘潭大学数学与计算科学学院 7
将 ?? 代入线性回归方程，可得
mm xxY ???
???
110 ???? ? 。 （ 7.20 ）
以后将式（ 7.20 ）亦简称为 线性回归方程,由此出发，
可对 Y 进行预测。
类似上节对一元线性回归模型对
2
? 的讨论，可用统计量
? ?
? ?
?
?
?
?
?
?
?
??
?
n
i
m
j
jiji
xY
mn 1
2
0
* ?
1
1
?
2
?? 。 （ 7.21 ）
作为 2? 的估计，式（ 7.21 ）也可以用矩阵形式表示为
上一页 下一页湘潭大学数学与计算科学学院 8
)?()?(11? 2* ??? XYXYmn T ?????
YXXXXIYmn TTnT ])([11 1?????
)](?[11 YXYYmn TTT ?????
例 7.5 某种水泥在凝固时放出热量 Y （单位,c al ）
与水泥中下列 4 种化学成分有关,
（ 1 ）
1
x, 3CaO · Al 2 O 3 ； （ 2 ）
2
x, 3CaO · SiO 2 ；
（ 3 ）
3
x, 3CaO · Al
2 O 3 · Fe 2 O 3 ；（ 4 ）
4
x, 2CaO · SiO
2 。
通过试验得到数据列于表 7.2 中，求 Y 对
4321
,,xxxx 的线性
回归议程。
上一页 下一页湘潭大学数学与计算科学学院 9
将数据代入式（ 7.9 ），经计算可得
)1 0 1 4 4-9 0, 1 0 1 1 0, 5 1 0 1 1, 5 5 1 2 450.62(
)?,?,?,?,?(
43210
?
?????
则所求的线性回归方程为
1 2 3 4
? 6 2 4 5 0 2 1, 5 5 1 1 0, 5 1 0 1 0, 1 0 1 9 0, 1 4 4 1Y, x x x x? ? ? ? ?
表 7.3 给出了 ii YY ?? 数据表。
上一页 下一页湘潭大学数学与计算科学学院 10
表 7.2
序号
%
1
x
%
2
x
%
3
x
%
4
x
Y
1 7 26 6 60 78.5
2 1 29 15 52 74.3
3 11 56 8 20 104.3
4 11 31 8 47 87.6
5 7 52 6 33 95.9
6 11 55 9 22 109.2
7 3 71 17 6 1 02.7
8 1 31 22 44 72.5
9 2 54 18 22 93.1
10 21 47 4 26 115.9
11 1 40 23 34 83.8
12 11 66 9 12 113.3
13 10 68 8 12 109.4
上一页 下一页湘潭大学数学与计算科学学院 11
表 7.3
序号 i
Y
i
Y
?
ii
YY
?
?
1 78.5 78.50 0.00
2 74.3 72.79 1.51
3 104.3 105.97 - 1.67
4 87.6 89.33 - 1.73
5 95.9 95.65 0.25
6 109.2 105.27 3.93
7 102.7 104.15 - 1.45
8 72.5 75.67 - 3.18
9 93.1 91.72 1.38
10 115.9 115.62 0.28
11 83.8 81.81 1.99
12 113.3 112.33 0.97
13 109.4 111.69 - 2.29
上一页 下一页湘潭大学数学与计算科学学院 12
则
2*
1
)?(
2
?? ??
?
?
?
?
?
??
?
mn
Q
EE 。
从证明过程中还得到如下结论。
推论 1
2/ ?Q 与 2
2
/? ??? XX ? 相互独立，且
)1(~/? 22
2
?? mXX ???? 。
上一页 下一页湘潭大学数学与计算科学学院 13
三、回归系数及回归方程的显著性检验
1、回归系数的显著性检验
所谓回归系数的显著性检验，就是检验假设
? ?mjHH
jj
,,2,10:0,
0
????? ??
是否成立。
若某一系数（如
j
? ）等于零，则变量
j
xY 就无显著的
线性关系，一般在拟合回归方程中可暂时将它 取掉。由于
j
??
是 j? 的无编估计量，
2
??
jjj
CD ?,这里
jj
C 是
1
)(
?
? XXC
T
的
主对角线上的第 1?j 个元素。 ),(~
? 2???
jjjj
CN,注意这里
是从
00
C 算起，
00
C 表 C 的主对角线上的第 1 个元素。
上一页 下一页湘潭大学数学与计算科学学院 14
).1,0(~
?
2 NC
jj
jj
?
?? ?则
而 )1(~
1
2
2
?? mnQ ?
?
且 Q 与
j
?? 独立，则在
0
H 成
立的条件下，有
)1(~
)1/(
?
??
??
? mnt
mnQC
T
jj
j
j
?
。
对给定的显著水平 ?,查表可得 )1(
2/
?? mnt
?
，由样
本值算得 T 的数值 t,若
)1(
2/
??? mntt
j ?
,
则拒绝
0
H,即认为 j? 显著不为零,
上一页 下一页湘潭大学数学与计算科学学院 15
反之，若
)1(
2/
??? mntt
j ?
则接受
0
H,即认为 j? 显著地等于零,
根据
*??
的定义,jT 亦可写为
*?
?
?
?
jj
j
j
C
T ? 。
2、回归方程的显著性检验
就是关于
:0:
1210
HH
m
????? ??? ?
至少有一个 ),,2,1(0 mjj ???? 的检验验问题。
上一页 下一页湘潭大学数学与计算科学学院 16
令 ?
?
?
n
i
iYnY
1
1,考虑如下离差平方和
??
??
??????
n
i
iii
n
i
iT YYYYYYQ
1
2
1
2 )]?()?[()(
BA
n
i
i
n
i
ii QQYYYY ????? ??
??
d e f)?()?(
1
2
1
2
其中
??
??
????
n
i
iB
n
i
iiA YYQYYQ
1
2
1
2 )?(,)?(
在 0H 成立的条件下，可以证明
)(~/),1(~/ 2222 mQmnQ BA ???? ??
上一页 下一页湘潭大学数学与计算科学学院 17
且 AQ 与 BQ 相互独立，则此时有
).1,(~)1())1(/( )/(2
2
???????? mnmFmQ mnQmnQ mQF
A
B
A
B
?
?
对给定的显著水平 ?,可查表得 )1,( ?? mnmF ?,对给
出回归观测值可算得 F 的数值 f,
若
)1,( ??? mnmFf
?
,
则拒绝
0
H,即认为各系数不全为零，线性回归方程是
显著的,
否则接受 0H,即认为线性回归方程不显著。
