上一页 下一页湘潭大学数学与计算科学学院 1
第七章 回归分析
现实世界中的种种现象大体可分为确定性现象和随机
现象,因此表现在变量与变量之间的关系大致可分为,
(1)确定性关系,即大家熟知的函数关系,如圆的面积
与圆的半径的关系,
(2)相关关系,如人的身高与体重,农作物的总产量与种
植面积,农作物的单位面积产量与施肥量等等,其特点
是,变量之间既有密切的关系,但又不能由一个变量的
数值精确地定出另一个变量的数值,也就是这两个变量
之间的关系不能用函数关系来表示,我们称变量之间的
这种关系为相关关系,
上一页 下一页湘潭大学数学与计算科学学院 2
对于相关关系,虽然不能找出变量之间确定的
函数表达式,但通过大量的观测数据,可以发现它
们之间存在一定的统计规律性,回归分析就是研究
相关关系的一种有效方法,
上一页 下一页湘潭大学数学与计算科学学院 3
§ 7.1 一 元线性回归分析
设有两个变量 X和 Y,其中 X是可以精确测量或控
制的非随机变量,而 Y是随机变量,Y随 X的变化而变
化,但它们之间的变化关系是不确定的,给定 X的取
值,Y服从一定的概率分布,则称随机变量 Y与变量 X
之间存在着相关关系,
设进行 n次独立试验,测得试验数据如下,
X x 1 x 2 … x n
Y y 1 y 2 … y n
其中 x i 表示变量 X 在第 i 次试验中的观测值,y i 表
示随机变量 Y 相应的观测值,
上一页 下一页湘潭大学数学与计算科学学院 4
由于 Y是随机变量,且其概率分布随 X的取值而变化,
所以我们希望取在 X=x时随机变量 Y的数学期望作为
X=x时 Y的估计值,即
(1.1)? ?.|? xXYEy ??显然,? ?xXYE ?| 是 x 的函数,记作
? ? ? ?xXYEx ?? |?, (1.2)
这样,我们得到一个确定的函数关系式
? ?xy ??? (1.3)
来大致地描述 Y 与 X 之间的变化规律,
上一页 下一页湘潭大学数学与计算科学学院 5
函数 ? ?x? 称为 Y 关于 X 的 回归函数,方程 ( 1, 3) 称为 Y 关
于 X 的回归方程, 回归方程反映了 Y 的数学期望随 X 的
变化而变化的规律性,
一般来说,从任意的 x 的函数中找出回归函数 ? ?x? 是非
常困难的,因此通常限制 ? ?x? 为某一类型的函数, 确定
? ?x? 的函数类型后,就可设
? ? ? ?,,,,;
21 k
aaaxx ??? ? (1.4)
其中
k
aaa,,,
21
? 为未知参数,只要确定了这些未知参
数,就确定了 Y 关于 X 的 回归方程,
上一页 下一页湘潭大学数学与计算科学学院 6
我们采用最小二乘法来确定这些未知参数,即要求选取
? ?
k
aaax,,,;
21
?? 中的参数,使得观测值
i
y 与相应的函数
值 ? ?
ki
aaax,,,;
21
?? ( i = 1,2,…,n ) 的离差平方和最小,也
就是
k
aaa ?,,?,?
21
? 满足,
})]?,.,,,?,? ;([{m i n
)]?,.,,,?,? ;([
1
2
21},.,,,{
1
2
21
21
?
?
?
?
??
?
n
i
kiiaaa
n
i
kii
aaaxy
aaaxy
n
?
?
(1.5)
为解 (1,5 ),可 分 别 求 ?
?
?
n
i
kii
aaaxy
1
2
21
)],.,,,,;([ ? 对
k
aaa,,,
21
? 偏导数,并令其偏导数等于零,得到一方程组,
上一页 下一页湘潭大学数学与计算科学学院 7
解此方程组即可求得
k
aaa,,,
21
? 的估计值
k
aaa ?,,?,?
21
?
则回归方程为
)?,...,?,? ;(?
21 k
aaaxy ?? (1.6) 为便于确定回归函数 ? ?x? 中的未知参数,我们
现在来讨论变量 Y 与 X 之间存在线性相关关系的
情形,即回归函数 ? ?x? 为一元线性函数情形,
上一页 下一页湘潭大学数学与计算科学学院 8
一、一 元线性回归
设回归方程为
bxay ???,(2.1)
令离差平方和为
?
?
???
n
i
ii
bxayS
1
2)(
, (2.2)
为使 S取最小值,分别求 S对 a和 b的偏导数,并令其偏
导数等于零,得
上一页 下一页湘潭大学数学与计算科学学院 9
?
?
?
?
?
???
???
?
?
?
?
n
i
iii
n
i
ii
xbxay
bxay
1
1
.0)(
,0)(
(2.3)
解以上方程组得
??
?
?
?
?
??
.?
,??
xx
xy
l
l
b
xbya
(2.4)
其中
?
?
?
n
i
i
x
n
x
1
1
,,
1
1
?
?
?
n
i
i
y
n
y,)(
2
1
2
x
n
i
ixx
nsxxl ??? ?
?
.))((
11
yxnyxyyxxl
n
i
ii
n
i
iixy
????? ??
??
上一页 下一页湘潭大学数学与计算科学学院 10
将 (2.4) 代入 (2.1) 得所求的线性方程
,??? xbay ?? (2.5)
称此方程为 Y 关于 X 的 线性回归方程,称 b? 为 回归系数,
称对应的直线为 回归直线,
显然,由 (2.4) 知回归直线一定过 (,xy ) 点,
例 1 为研究温度 (X)对某个化学过程的生产量 (Y)的
影响,收集到如下数据,
x -5 -4 -3 -2 -1 0 1 2 3 4 5
y 1 5 4 7 10 8 9 13 14 13 18
求 Y关于 X的线性回归方程,
上一页 下一页湘潭大学数学与计算科学学院 11
解, 计算得
,0?x,273.9?y
,1 1 0?xxl,1 5 8?xyl
所以
,273.9? ?a,4 3 6.1? ?b
故 Y 关于 X 的线性回归方程为
.436.1273.9? xy ??
上一页 下一页湘潭大学数学与计算科学学院 12
二、线性相关的显著性检验
如果两个变量之间根本不存在线性相关关系,则求
出的线性回归方程毫无意义,为使求出的线性回归方程
(2.5)真正有意义,我们必须首先判断 Y与 X之间是否存
在线性相关关系,
因为变量 Y 与 X 之间的相关系数
XY
r 是表示它们之间线
性相关关系的数字特征,只有当相关系数
XY
r 的绝对值接近
于 1 时,才表明 Y 与 X 的线性相关关系显著,这时求出的线
性回归方程才有实际意义, 显然,在相关系数
XY
r 未知时,我
们可用样本相关系数 r 作为相关系数
XY
r 的估计值,
上一页 下一页湘潭大学数学与计算科学学院 13
,
)(
1
)(
1
))((
1
?
1
2
1
2
1
yyxx
xy
n
i
i
n
i
i
n
i
ii
XY
ll
l
yy
n
xx
n
yyxx
nrr ?
??
??
??
??
?
??
?
(2.6)其中
?
?
??
n
i
iyy
yy
n
l
1
2)(1
,
本书附录 6 给出了显著性水平 05.0?? 及 01.0?? 时的相关
系数的显著性检验表 ( 还与 n - 2 有关 ),表中的数值是相关系
数的临界值
?
r, 由试验数据计算出样本相关系数 r,于是,
上一页 下一页湘潭大学数学与计算科学学院 14
1) 当 05.0rr ? 时,则认为 Y 与 X 之间的线性相关关系不
显著,或者不存在线性相关关系；
2 ）当 01.005.0 rrr ?? 时,则认为 Y 与 X 之间的线性相关
关系显著；
3 ）当 rr ?01.0 时,则认为 Y 与 X 之间的线性相关关系
特别显著,
例 2 检验例 1的 Y与 X之间的线性相关关系是否显著,
上一页 下一页湘潭大学数学与计算科学学院 15
解, 由于
,1 1 0?xxl,1 5 8?xyl
且计算得
,18.248?yyl
所以由 (2.6)有
,9563.0?r
查表得,735.001.0 ?r 即 rr ?01.0 故 Y 与 X 之间的线性
相关关系特别显著,
上一页 下一页湘潭大学数学与计算科学学院 16
一般情况下,我们先根据试验数据计算样本相
关系数 r,并与查表得到的相关系数的临界值
?
r 比
较,从而推断两个变量之间的线性相关关系是否显
著；如果 Y 与 X 之间的线性相关关系显著，则按
（ 2.4 ） 求出 Y 关于 X 的线性回归方程 (2, 5),此方
程大致地描述了 Y 与 X 之间的变化规律,
上一页 下一页湘潭大学数学与计算科学学院 17
三、可线性化的回归方程
如果经验上认为回归函数 ? ?x? 不为线性函数,则称对应的
回归分析为曲线回归, 但是有些曲线回归方程可以通过变
量替换,将非线性回归化为线性回归,然后直接利用线性回
归方法来处理, 在经济等领域中常用的几种形式如下,
1, 双曲线型
? ?,?
x
b
axy ??? ?
令,
1
x
u ? 得
.? buay ??
上一页 下一页湘潭大学数学与计算科学学院 18
2、指数曲线型
( a )
? ()
bx
y x ce???
如果 0c ?,令 l n,vy? 得 ?v a b x??,其中 a = lnc
如果 0c ?,令 l n ( ),vy?? 得 ?v a b x??,其中 a = ln ( - c ),
( b )
? ()
b
x
y x c e???
如果 0c ?,令
l n,vy?
x
u
1
? 得 ?v a bu??,其中 a = lnc
如果
0c ?
,令
l n ( ),vy??
x
u
1
? 得 ?v a bu??,其中 a = ln ( - c ),
上一页 下一页湘潭大学数学与计算科学学院 19
3、幂函数型 ? ()
by x cx???
( x > 0 )
如果 0c ?,令 l n,vy? u = lnx,得 ?v a b u??,其中 a = lnc 。
如果 0c ?,令 l n( ),vy?? u = l n x 得 ?v a b u??,其中 a = ln ( - c ),
4,S曲线型
1
? ()
x
yx
a b e
?
?
??
?
令
1
v
y
?
,u =
x
e
?
,得 ?v a b u??,
第七章 回归分析
现实世界中的种种现象大体可分为确定性现象和随机
现象,因此表现在变量与变量之间的关系大致可分为,
(1)确定性关系,即大家熟知的函数关系,如圆的面积
与圆的半径的关系,
(2)相关关系,如人的身高与体重,农作物的总产量与种
植面积,农作物的单位面积产量与施肥量等等,其特点
是,变量之间既有密切的关系,但又不能由一个变量的
数值精确地定出另一个变量的数值,也就是这两个变量
之间的关系不能用函数关系来表示,我们称变量之间的
这种关系为相关关系,
上一页 下一页湘潭大学数学与计算科学学院 2
对于相关关系,虽然不能找出变量之间确定的
函数表达式,但通过大量的观测数据,可以发现它
们之间存在一定的统计规律性,回归分析就是研究
相关关系的一种有效方法,
上一页 下一页湘潭大学数学与计算科学学院 3
§ 7.1 一 元线性回归分析
设有两个变量 X和 Y,其中 X是可以精确测量或控
制的非随机变量,而 Y是随机变量,Y随 X的变化而变
化,但它们之间的变化关系是不确定的,给定 X的取
值,Y服从一定的概率分布,则称随机变量 Y与变量 X
之间存在着相关关系,
设进行 n次独立试验,测得试验数据如下,
X x 1 x 2 … x n
Y y 1 y 2 … y n
其中 x i 表示变量 X 在第 i 次试验中的观测值,y i 表
示随机变量 Y 相应的观测值,
上一页 下一页湘潭大学数学与计算科学学院 4
由于 Y是随机变量,且其概率分布随 X的取值而变化,
所以我们希望取在 X=x时随机变量 Y的数学期望作为
X=x时 Y的估计值,即
(1.1)? ?.|? xXYEy ??显然,? ?xXYE ?| 是 x 的函数,记作
? ? ? ?xXYEx ?? |?, (1.2)
这样,我们得到一个确定的函数关系式
? ?xy ??? (1.3)
来大致地描述 Y 与 X 之间的变化规律,
上一页 下一页湘潭大学数学与计算科学学院 5
函数 ? ?x? 称为 Y 关于 X 的 回归函数,方程 ( 1, 3) 称为 Y 关
于 X 的回归方程, 回归方程反映了 Y 的数学期望随 X 的
变化而变化的规律性,
一般来说,从任意的 x 的函数中找出回归函数 ? ?x? 是非
常困难的,因此通常限制 ? ?x? 为某一类型的函数, 确定
? ?x? 的函数类型后,就可设
? ? ? ?,,,,;
21 k
aaaxx ??? ? (1.4)
其中
k
aaa,,,
21
? 为未知参数,只要确定了这些未知参
数,就确定了 Y 关于 X 的 回归方程,
上一页 下一页湘潭大学数学与计算科学学院 6
我们采用最小二乘法来确定这些未知参数,即要求选取
? ?
k
aaax,,,;
21
?? 中的参数,使得观测值
i
y 与相应的函数
值 ? ?
ki
aaax,,,;
21
?? ( i = 1,2,…,n ) 的离差平方和最小,也
就是
k
aaa ?,,?,?
21
? 满足,
})]?,.,,,?,? ;([{m i n
)]?,.,,,?,? ;([
1
2
21},.,,,{
1
2
21
21
?
?
?
?
??
?
n
i
kiiaaa
n
i
kii
aaaxy
aaaxy
n
?
?
(1.5)
为解 (1,5 ),可 分 别 求 ?
?
?
n
i
kii
aaaxy
1
2
21
)],.,,,,;([ ? 对
k
aaa,,,
21
? 偏导数,并令其偏导数等于零,得到一方程组,
上一页 下一页湘潭大学数学与计算科学学院 7
解此方程组即可求得
k
aaa,,,
21
? 的估计值
k
aaa ?,,?,?
21
?
则回归方程为
)?,...,?,? ;(?
21 k
aaaxy ?? (1.6) 为便于确定回归函数 ? ?x? 中的未知参数,我们
现在来讨论变量 Y 与 X 之间存在线性相关关系的
情形,即回归函数 ? ?x? 为一元线性函数情形,
上一页 下一页湘潭大学数学与计算科学学院 8
一、一 元线性回归
设回归方程为
bxay ???,(2.1)
令离差平方和为
?
?
???
n
i
ii
bxayS
1
2)(
, (2.2)
为使 S取最小值,分别求 S对 a和 b的偏导数,并令其偏
导数等于零,得
上一页 下一页湘潭大学数学与计算科学学院 9
?
?
?
?
?
???
???
?
?
?
?
n
i
iii
n
i
ii
xbxay
bxay
1
1
.0)(
,0)(
(2.3)
解以上方程组得
??
?
?
?
?
??
.?
,??
xx
xy
l
l
b
xbya
(2.4)
其中
?
?
?
n
i
i
x
n
x
1
1
,,
1
1
?
?
?
n
i
i
y
n
y,)(
2
1
2
x
n
i
ixx
nsxxl ??? ?
?
.))((
11
yxnyxyyxxl
n
i
ii
n
i
iixy
????? ??
??
上一页 下一页湘潭大学数学与计算科学学院 10
将 (2.4) 代入 (2.1) 得所求的线性方程
,??? xbay ?? (2.5)
称此方程为 Y 关于 X 的 线性回归方程,称 b? 为 回归系数,
称对应的直线为 回归直线,
显然,由 (2.4) 知回归直线一定过 (,xy ) 点,
例 1 为研究温度 (X)对某个化学过程的生产量 (Y)的
影响,收集到如下数据,
x -5 -4 -3 -2 -1 0 1 2 3 4 5
y 1 5 4 7 10 8 9 13 14 13 18
求 Y关于 X的线性回归方程,
上一页 下一页湘潭大学数学与计算科学学院 11
解, 计算得
,0?x,273.9?y
,1 1 0?xxl,1 5 8?xyl
所以
,273.9? ?a,4 3 6.1? ?b
故 Y 关于 X 的线性回归方程为
.436.1273.9? xy ??
上一页 下一页湘潭大学数学与计算科学学院 12
二、线性相关的显著性检验
如果两个变量之间根本不存在线性相关关系,则求
出的线性回归方程毫无意义,为使求出的线性回归方程
(2.5)真正有意义,我们必须首先判断 Y与 X之间是否存
在线性相关关系,
因为变量 Y 与 X 之间的相关系数
XY
r 是表示它们之间线
性相关关系的数字特征,只有当相关系数
XY
r 的绝对值接近
于 1 时,才表明 Y 与 X 的线性相关关系显著,这时求出的线
性回归方程才有实际意义, 显然,在相关系数
XY
r 未知时,我
们可用样本相关系数 r 作为相关系数
XY
r 的估计值,
上一页 下一页湘潭大学数学与计算科学学院 13
,
)(
1
)(
1
))((
1
?
1
2
1
2
1
yyxx
xy
n
i
i
n
i
i
n
i
ii
XY
ll
l
yy
n
xx
n
yyxx
nrr ?
??
??
??
??
?
??
?
(2.6)其中
?
?
??
n
i
iyy
yy
n
l
1
2)(1
,
本书附录 6 给出了显著性水平 05.0?? 及 01.0?? 时的相关
系数的显著性检验表 ( 还与 n - 2 有关 ),表中的数值是相关系
数的临界值
?
r, 由试验数据计算出样本相关系数 r,于是,
上一页 下一页湘潭大学数学与计算科学学院 14
1) 当 05.0rr ? 时,则认为 Y 与 X 之间的线性相关关系不
显著,或者不存在线性相关关系；
2 ）当 01.005.0 rrr ?? 时,则认为 Y 与 X 之间的线性相关
关系显著；
3 ）当 rr ?01.0 时,则认为 Y 与 X 之间的线性相关关系
特别显著,
例 2 检验例 1的 Y与 X之间的线性相关关系是否显著,
上一页 下一页湘潭大学数学与计算科学学院 15
解, 由于
,1 1 0?xxl,1 5 8?xyl
且计算得
,18.248?yyl
所以由 (2.6)有
,9563.0?r
查表得,735.001.0 ?r 即 rr ?01.0 故 Y 与 X 之间的线性
相关关系特别显著,
上一页 下一页湘潭大学数学与计算科学学院 16
一般情况下,我们先根据试验数据计算样本相
关系数 r,并与查表得到的相关系数的临界值
?
r 比
较,从而推断两个变量之间的线性相关关系是否显
著；如果 Y 与 X 之间的线性相关关系显著，则按
（ 2.4 ） 求出 Y 关于 X 的线性回归方程 (2, 5),此方
程大致地描述了 Y 与 X 之间的变化规律,
上一页 下一页湘潭大学数学与计算科学学院 17
三、可线性化的回归方程
如果经验上认为回归函数 ? ?x? 不为线性函数,则称对应的
回归分析为曲线回归, 但是有些曲线回归方程可以通过变
量替换,将非线性回归化为线性回归,然后直接利用线性回
归方法来处理, 在经济等领域中常用的几种形式如下,
1, 双曲线型
? ?,?
x
b
axy ??? ?
令,
1
x
u ? 得
.? buay ??
上一页 下一页湘潭大学数学与计算科学学院 18
2、指数曲线型
( a )
? ()
bx
y x ce???
如果 0c ?,令 l n,vy? 得 ?v a b x??,其中 a = lnc
如果 0c ?,令 l n ( ),vy?? 得 ?v a b x??,其中 a = ln ( - c ),
( b )
? ()
b
x
y x c e???
如果 0c ?,令
l n,vy?
x
u
1
? 得 ?v a bu??,其中 a = lnc
如果
0c ?
,令
l n ( ),vy??
x
u
1
? 得 ?v a bu??,其中 a = ln ( - c ),
上一页 下一页湘潭大学数学与计算科学学院 19
3、幂函数型 ? ()
by x cx???
( x > 0 )
如果 0c ?,令 l n,vy? u = lnx,得 ?v a b u??,其中 a = lnc 。
如果 0c ?,令 l n( ),vy?? u = l n x 得 ?v a b u??,其中 a = ln ( - c ),
4,S曲线型
1
? ()
x
yx
a b e
?
?
??
?
令
1
v
y
?
,u =
x
e
?
,得 ?v a b u??,
