第八章 相关与回归分析第一节 相关关系 基本概念第二节 简单线性回归分析第三节 非线性回归分析第一节 相关基本概念一,变量相关的概念二,相关系数及其计算变量相关的概念变量间的关系
（函数关系）
1,是一一对应的确定关系
2,设有两个变量 x 和 y,变量
y 随变量 x 一起变化,并完全依赖于 x,当变量 x 取某个数值时,y 依确定的关系取相应的值,则称 y 是 x 的函数,记为 y = f (x),其中
x 称为自变量,y 称为因变量
3,各观测点落在一条线上
x
y
变量间的关系
（函数关系）
函数关系的例子
某种商品的销售额 (y)与销售量 (x)之间的关系可表示为 y = p x (p 为单价 )
圆的面积 (S)与半径之间的关系可表示为 S =
R2
企业的原材料消耗额 (y)与产量 (x1),单位产量消耗 (x2),原材料价格 (x3)之间的关系可表示为 y = x1 x2 x3
变量间的关系
（相关关系）
1,变量间关系不能用函数关系精确表达
2,一个变量的取值不能由另一个变量唯一确定
3,当变量 x 取某个值时,变量 y 的取值可能有几个
4,各观测点分布在直线周围
x
y
相关关系的图示
不相关
负线性相关
正线性相关
非线性相关
完全负线性相关完全正线性相关
变量间的关系
（相关关系 ）
相关关系的例子
商品的消费量 (y)与居民收入 (x)之间的关系
商品销售额 (y)与广告费支出 (x)之间的关系
粮食亩产量 (y)与施肥量 (x1),降雨量 (x2),
温度 (x3)之间的关系
收入水平 (y)与受教育程度 (x)之间的关系
父亲身高 (y)与子女身高 (x)之间的关系相关关系的类型相关关系非线性相关线性相关正相关正相关负相关负相关完全相关 不相关相关系数及其计算相关关系的测度
（相关系数）
1,对变量之间关系密切程度的度量
2,对两个变量之间线性相关程度的度量称为简单相关系数
3,若相关系数是根据总体全部数据计算的,称为总体相关系数,记为?
4,若是根据样本数据计算的,则称为样本相关系数,记为 r
相关关系的测度
（相关系数）
样本相关系数的计算公式,
22 )()(
))((
yyxx
yyxx
r
或化简为,
2222
yynxxn
yxxyn
r
相关关系的测度
（相关系数取值及其意义）
1,r 的取值范围是 [-1,1]
2,|r|=1 为完全相关
r =1,为完全正相关
r =-1 为完全负正相关
3,r = 0 不存在线性相关关系
4,-1? r < 0 为负相关
5,0 < r? 1 为正相关
6,|r|越趋于 1表示关系越密切； |r|越趋于 0表示关系越不密切相关关系的测度
（相关系数取值及其意义）
-1.0 +1.00-0.5 +0.5
完全负相关 无线性相关 完全正相关负相关程度增加
r
正相关程度增加表 8-1 我国人均国民收入与人均消费金额数据 单位,元年份 人均国民收入 人均消费金额 年份 人均国民收入 人均消费金额
1981
1982
1983
1984
1985
1986
1987
393.8
419.14
460.86
544.11
668.29
737.73
859.97
249
267
289
329
406
451
513
1988
1989
1990
1991
1992
1993
1068.8
1169.2
1250.7
1429.5
1725.9
2099.5
643
690
713
803
947
1148
相关关系的测度
（相关系数计算例）
【 例 8.1】 在研究我国人均消费水平的问题中,把全国人均消费额记为 y,把人均国民收入记为 x。 我们收集到 1981～ 1993年的样本数据 (xi,yi),i =1,2,…,13,数据见表 8-1,计算相关系数 。
相关关系的测度
（计算结果）
解,根据样本相关系数的计算公式有
人均国民收入与人均消费金额之间的相关系数为 0.9987
9987.0
74575226399135.1282777.1607332313
74575.1282799.915617313
22
2
2
2
2
yynxxn
yxxyn
r
相关系数的显著性检验 （概念要点）
1,检验两个变量之间是否存在线性相关关系
2,等价于对回归系数?1的检验
3,采用 t 检验
4,检验的步骤为
提出假设,H0, ； H1, 0
)2(~
1
2
2
nt
r
nrt? 计算检验的统计量：
确定显著性水平?，并作出决策
若?t?>t，拒绝 H0
若?t?<t，接受 H0
相关系数的显著性检验 （实例）
2,对前例计算的相关系数进行显著性检 (0.05)
1,提出假设,H0, ； H1, 0
2,计算检验的统计量,
9809.64
9987.01
2139987.0
2
t
3,根据显著性水平?＝ 0.05，查 t分布表得 t(n-
2)=2.201
由于?t?=64.9809>t(13-2)=2.201，拒绝 H0，人均消费金额与人均国民收入之间的相关关系显著相关系数的显著性检验
（相关系数检验表的使用）
1,若 IrI大于表上的?=5%相应的值,小于表上?＝
1%相应的值,称变量 x与 y之间有 显著 的线性关系
2,若 IrI大于表上?=1%相应的值,称变量 x与 y之间有 十分显著 的线性关系
3,若 IrI小于表上?=5%相应的值,称变量 x与 y之间没有 明显 的线性关系
4,根 据前例的 r=0.9987>?=5%(n-2)=0.553,表明人均消费金额与人均国民收入之间有十分显著的线性相关关系第二节 简单线性回归分析
一元线性回归模型二,参数的最小二乘估计三,回归方程的显著性检验四,预测及应用什么是回归分析？
（内容）
1,从一组样本数据出发,确定变量之间的数学关系式
2,对这些关系式的可信程度进行各种统计检验,
并从影响某一特定变量的诸多变量中找出哪些变量的影响显著,哪些不显著
3,利用所求的关系式,根据一个或几个变量的取值来预测或控制另一个特定变量的取值,
并给出这种预测或控制的精确程度回归分析与相关分析的区别
1,相关分析中,变量 x 变量 y 处于平等的地位；回归分析中,变量 y 称为因变量,处在被解释的地位,x 称为自变量,用于预测因变量的变化
2,相关分析中所涉及的变量 x 和 y 都是随机变量；
回归分析中,因变量 y 是随机变量,自变量 x 可以是随机变量,也可以是非随机的确定变量
3,相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量 x 对变量 y
的影响大小,还可以由回归方程进行预测和控制回归模型的类型一个自变量 两个及两个以上自变量回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归回归模型与回归方程回归模型
1,回答,变量之间是什么样的关系？,
2,方程中运用
1 个数字的因变量 (响应变量 )
被预测的变量
1 个或多个数字的或分类的自变量 (解释变量 )
用于预测的变量
3,主要用于预测和估计一元线性回归模型
（概念要点）
1,当只涉及一个自变量时称为 一元回归,若因变量 y 与自变量 x 之间为线性关系时称为一元线性回归
2,对于具有线性关系的两个变量,可以用一条线性方程来表示它们之间的关系
3,描述因变量 y 如何依赖于自变量 x 和误差项?
的方程称为 回归模型一元线性回归模型
（概念要点）
对于只涉及一个自变量的简单线性回归模型可表示为
y =+ x +?
模型中,y 是 x 的线性函数 (部分 )加上误差项
线性部分反映了由于 x 的变化而引起的 y 的变化
误差项?是随机变量
反映了除 x 和 y 之间的线性关系之外的随机因素对 y
的影响
是不能由 x 和 y 之间的线性关系所解释的变异性
0和?1称为模型的参数一元线性回归模型
（基本假定）
1,误差项 ε是一个期望值为 0的随机变量,即 E(ε)=0。
对于一个给定的 x 值,y 的期望值为 E ( y ) =? 0+
1 x
2,对于所有的 x 值,ε的方差 σ2都相同
3,误差项 ε是一个服从正态分布的随机变量,且相互独立 。 即 ε~N( 0,σ2 )
独立性意味着对于一个特定的 x 值,它所对应的 ε与其他 x 值所对应的 ε不相关
对于一个特定的 x 值,它所对应的 y 值与其他 x 所对应的 y 值也不相关回归方程
（概念要点）
1,描述 y 的平均值或期望值如何依赖于 x 的方程称为 回归方程
2,简单线性回归方程的形式如下
3,E( y ) =?0+?1 x
方程的图示是一条直线,因此也称为直线回归方程
0是回归直线在 y 轴上的截距,是当 x=0 时 y 的期望值
1是直线的斜率,称为回归系数,表示当 x 每变动一个单位时,y的平均变动值估计 (经验 )的回归 方程
3,简单线性回归中估计的回归方程为其中,是估计的回归直线在 y 轴上的截距,是直线的斜率,它表示对于一个给定的 x 的值,是 y 的估计值,也表示 x 每变动一个单位时,y 的平均变动值
0 1
2,用样本统计量 和 代替回归方程中的未知参数 和,就得到了 估计的回归方程0
1
0? 1?
1,总体回归参数 和 是未知的,必需利用样本数据去估计 0? 1
xy 10 +?
参数?0 和?1 的最小二乘估计最小二乘法
（概念要点）
最小
n
i
i
n
i
i eyyQ
1
2
1
2
10 )?()
,?(
1,使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即
2,用最小二乘法拟合的直线来代表 x与 y之间的关系与实际数据的误差比其他任何直线都小
0 1
最小二乘法
（图示）
x
y (x
n,yn)
(x1,y1)?
(x2,y2)
(xi,yi)
｝ ei = yi-yi＾
xy 10 +?
最小二乘法
（ 和 的计算公式 ）
根据最小二乘法的要求,可得求解 和 的标准方程如下
10
0 1
估计方程的求法
（实例）
【 例 】 根据例 10.1中的数据,配合人均消费金额对人均国民收入的回归方程
根据 和 的求解公式得
0 1
估计 (经验 )方程
人均消费金额对人均国民收入的回归方程为 y = 54.22286 + 0.52638 x
0
200
400
600
800
1000
1200
1400
0 500 1000 1500 2000 2500
èù ·? ó? èù 1ú ê? è? μ× 1é
^
估计方程的求法
（ Excel的输出结果）
SUMMARY OUTPUT
× 1é í3
M u l t i p l e R0.998703821
R Square 0.997409322
Adjusted R Square 0.997173806
±ê ×ó 2? 14.94967766
1? 2a?μ 13
Coefficients ±ê ×ó 2? t Stat P-value Lower 95% Upper 95%
Intercept 54.22286392 8.99397869 6.028796 8.56501E-05 34.4272403 74.0184875
X Variable 1 0.52637714 0.00808855 65.07682 1.39842E-15 0.50857435 0.54417993
0 1
n
i
i
y
xx
S
nt
1
2
21
)(
)2(
+ n
i
i
y
xx
x
n
Snt
1
2
2
20
)(
)(1)2(?
回归方程的显著性检验离差平方和的分解
1,因变量 y 的取值是不同的,y 取值的这种波动称为 变差 。 变差来源于两个方面
由于自变量 x 的取值不同造成的
除 x 以外的其他因素 (如 x对 y的非线性影响,
测量误差等 )的影响
2,对一个具体的观测值来说,变差的大小可以通过该实际观测值与其均值之差 来表示
yy?
离差平方和的分解
（图示）
x
y
y
xy 10 +?
yy? {
}
}
yy
yy
),( ii yx
离差分解图离差平方和的分解
（三个平方和的关系）
2,两端平方后求和有
yyyyyy?+
1,从图上看有
SST = SSR + SSE
+
n
i
i
n
i
i
n
i
i yyyyyy
1
2
1
2
1
2
总变差平方和
（ SST）
{
回归平方和
（ SSR）
{
残差平方和
（ SSE）
{
离差平方和的分解
（三个平方和的意义）
1,总平方和 (SST)
反映因变量的 n 个观察值与其均值的总离差
2,回归平方和 (SSR)
反映自变量 x 的变化对因变量 y 取值变化的影响,或者说,是由于 x 与 y 之间的线性关系引起的 y 的取值变化,也称为可解释的平方和
3,残差平方和 (SSE)
反映除 x 以外的其他因素对 y 取值的影响,也称为不可解释的平方和或剩余平方和样本决定系数
（判定系数 r2 ）
1,回归平方和占总离差平方和的比例
2,反映回归直线的拟合程度
3,取值范围在 [ 0,1 ] 之间
4,r2?1，说明回归方程拟合的越好； r2?0
，说明回归方程拟合的越差
5,判定系数等于相关系数的平方，即 r2＝ (r)2
回归方程的显著性检验
（ 线性关系的检验 ）
1,检验自变量和因变量之间的线性关系是否显著
2,具体方法是将回归离差平方和 (SSR)同剩余离差平方和 (SSE)加以比较,应用 F检验来分析二者之间的差别是否显著
如果是显著的,两个变量之间存在线性关系
如果不显著,两个变量之间不存在线性关系回归方程的显著性检验
（ 检验 的步骤）
1,提出假设
H0：线性关系不显著计算检验统计量 F
3,确定显著性水平?，并根据分子自由度 1和分母自由度 n-2找出临界值 F?
4,作出决策：若 F?F?,拒绝 H0； 若 F<F?,接受 H0
回归方程的显著性检验
（ 方差分析表 ）
方差分析
df SS MS F Significance F
回归 1 946491 946491 4234.99 1.39842E-15
残差 11 2458.42 223.493
总计 12 948949
（续前例） Excel 输出的方差分析表平方和 均方估计标准误差 Sy
1,实际观察值与回归估计值离差平方和的均方根
2,反映实际观察值在回归直线周围的分散状况
3,从另一个角度说明了回归直线的拟合程度
4,计算公式为注：上例的计算结果为 14.949678
回归系数的显著性检验
（要点）
3,在一元线性回归中,等价于回归方程的显著性检验
1,检验 x 与 y 之间是否具有线性关系,或者说,检验自变量 x 对因变量 y 的影响是否显著
2,理论基础是回归系数 的抽样分布
1
回归系数的显著性检验
（样本统计量 的分布）
1,是根据最小二乘法求出的样本统计量,它有自己的分布
2,的分布具有如下性质
分布形式：正态分布
数学期望：
标准差：
由于?无未知,需用其估计量 Sy来代替得到 的估计的标准差回归系数的显著性检验
（样本统计量 的分布）
的抽样分布回归系数的显著性检验
（步骤）
1,提出假设
H0,?1 = 0 (没有线性关系 )
H1,?1? 0 (有线性关系 )
2,计算检验的统计量
3,确定显著性水平?，并进行决策
t?>t，拒绝 H0；?t?<t，接受 H0
回归系数的显著性检验
（实例）
1,提出假设
H0,?1 = 0 人均收入与人均消费之间无线性关系
H1,?1? 0 人均收入与人均消费之间有线性关系
2,计算检验的统计量
3,t=65.0758>t=2.201,拒绝 H0,表明 人均收入与人均消费之间有线性关系对前例的回归系数进行显著性检验 (?＝ 0.05)
回归系数的显著性检验
(Excel输出的结果）
SUMMARY OUTPUT
× 1é í3
M u lt i p le R 0.998703821
R Square 0.997409322
Adjusted R Square 0.997173806
±ê ×ó 2? 14.94967766
1? 2a?μ 13
Coefficients ±ê ×ó 2? t Stat P-value Lower 95% Upper 95%
Intercept 54.22286392 8.99397869 6.028796 8.56501E-05 34.4272403 74.0184875
X Variable 1 0.52637714 0.00808855 65.07682 1.39842E-15 0.50857435 0.54417993
0 08 08 8 55.0
5 26 37 7 14.0?
1
1?
1
St
99397869.8
22286392.54?
0
0?
0
St
+? n
i
i
y
xx
x
n
SS
1
2
2
)(
)(1
0?
n
i
i
y
xx
S
S
1
2
)(
1?
预测及应用利用回归方程进行估计和预测
1,根据自变量 x 的取值估计或预测因变量 y
的取值
2,估计或预测的类型
点估计
y 的平均值的点估计
y 的个别值的点估计
区间估计
y 的平均值的 置信区间 估计
y 的个别值的 预测区间 估计利用回归方程进行估计和预测
（点估计）
2,点估计值有
y 的平均值的点估计
y 的个别值的点估计
3,在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同
1,对于自变量 x 的一个给定值 x0,根据回归方程得到因变量 y 的一个估计值 0?y
利用回归方程进行估计和预测
（点估计）
y 的平均值的点估计
1,利用估计的回归方程，对于自变量 x 的一个给定值 x0,求出因变量 y 的平均值的一个估计值
E(y0),就是平均值的点估计
2,在前面的例子中，假如我们要估计人均国民收入为 2000元时，所有年份人均消费金额的的平均值，就是平均值的点估计。根据估计的回归方程得
)(98.1 1 6 02 0 0 05 2 6 3 8.02 2 2 8 6.54? 0 元+?y
利用回归方程进行估计和预测
（点估计）
y 的个别值的点估计
0?y
1,利用估计的回归方程,对于自变量 x 的一个给定值 x0,求出因变量 y 的一个个别值的估计值,就是个别值的点估计
2,比如，如果我们只是想知道 1990年人均国民收入为 1250.7元时的人均消费金额是多少，
则属于个别值的点估计。根据估计的回归方程得
)(57.7127.1 2 5 05 2 6 3 8.02 2 2 8 6.54? 0 元+?y
利用回归方程进行估计和预测
（区间估计）
1,点估计不能给出估计的精度,点估计值与实际值之间是有误差的,因此需要进行区间估计
2,对于自变量 x 的一个给定值 x0,根据回归方程得到因变量 y 的一个估计区间
3,区间估计有两种类型
置信区间估计
预测区间估计利用回归方程进行估计和预测
（置信区间估计）
y 的平均值的置信区间估计
1,利用估计的回归方程，对于自变量 x 的一个给定值 x0,求出因变量 y 的平均值 E(y0)的估计区间,这一估计区间称为 置信区间
2,E(y0) 在 1-?置信水平下的置信区间为
+
n
i
i
y
xx
xx
n
Snty
1
2
2
0
20
1
)2( 式中,S
y为估计标准误差利用回归方程进行估计和预测
（置信区间估计,算例）
【 例 】 根据前例，求出人均国民收入为 1250.7
元时，人均消费金额 95%的置信区间
解,根据前面的计算结果
＝ 712.57,Sy=14.95,t(13-2)＝ 2.201，
n=13
置信区间为
712.57?10.265
人均消费金额 95% 的 置 信 区间 为 702.305 元
~722.835元之间
0?y
利用回归方程进行估计和预测
（预测区间估计）
y 的个别值的预测区间估计
1,利用估计的回归方程，对于自变量 x 的一个给定值 x0,求出因变量 y 的一个个别值的估计区间，这一区间称为 预测区间
2,y0在 1-?置信水平下的预测区间为注意！
利用回归方程进行估计和预测
（置预测区间估计,算例）
【 例 】 根据前例,求出 1990年人均国民收入为
1250.7元时,人均消费金额的 95%的预测区间
解：根据前面的计算结果有
＝ 712.57,Sy=14.95,t(13-2)＝ 2.201，
n=13
置信区间为
=712.57?34.469
人均消费金额 95%的预测区间为 678.101元 ~747.039
元之间
0?y
影响区间宽度的因素
1.置信水平 (1 -?)
区间宽度随置信水平的增大而增大
2.数据的离散程度 (s)
区间宽度随离散程度的增大而增大
3.样本容量
区间宽度随样本容量的增大而减小
4.用于预测的 xp与?x的差异程度
区间宽度随 xp与?x 的差异程度的增大而增大置信区间,预测区间,回归方程
xp
xy 10 +?
y
x
x
第三节 多元线性回归
多元线性回归模型二,回归参数的估计三,回归方程的显著性检验四,回归系数的显著性检验五,多元线性回归的预测多元线性回归模型多元线性回归模型
（概念要点）
1,一个因变量与两个及两个以上自变量之间的回归
2,描述因变量 y 如何依赖于自变量 x1,x2,… xp
和误差项? 的方程称为 多元线性回归模型
3,涉及 p 个自变量的多元线性回归模型可表示为
0,,,?,?p是参数
是被称为误差项的随机变量
y 是 x1,,x2,?,xp 的线性函数加上误差项?
说明了包含在 y里面但不能被 p个自变量的线性关系所解释的变异性
ipipii xxxy +++++22110
多元线性回归模型
（概念要点）
对于 n 组实际观察数据 (yi ; xi1,,xi2,?,
xip ),(i=1,2,…,n),多元线性回归模型可表示为
y1 = + x11+ x12 +? +?px1p+
y2= + x21 + x22 +? +?px2p+
yn= + xn1 + xn2 +? +?pxnp+?n{
……
多元线性回归模型
（基本假定）
1,自变量 x1,x2,… xp是确定性变量,不是随机变量
2,随机误差项 ε的期望值为 0,且方差 σ2 都相同
3,误差项 ε是一个服从正态分布的随机变量,
即 ε~N(0,σ2),且相互独立第三节 非线性回归分析一,基本概念二,非线性模型及其线性化方法非线性回归
1,因变量 y 与 x 之间不是线性关系
2,可通过变量代换转换成线性关系
3,用最小二乘法求出参数的估计值
4,并非所有的非线性模型都可以化为线性模型几种常见的非线性模型
指数函数
2,线性化方法
两端取对数得,lny = ln? +? x
令,y' = lny，则有 y' = ln? +? x
1,基本形式：
3,图像
几种常见的非线性模型
幂函数
2,线性化方法
两端取对数得,lg y = lg? +? lg x
令,y' = lgy,x'= lg x,则 y' = lg? +? x'
1,基本形式：
3,图像
0<?< 1
1? = 1
-1<?<0
<-1
=-1
几种常见的非线性模型
双曲线函数
2,线性化方法
令,y' = 1/y,x'= 1/x,则有 y' =? +? x'
1,基本形式：
3,图像
< 0? > 0
几种常见的非线性模型
对数函数
2,线性化方法
x'= lgx,则有 y' =? +? x'
1,基本形式：
3,图像
0? <0
几种常见的非线性模型
S 型曲线
2,线性化方法
令,y' = 1/y,x'= e-x,则有 y' =? +? x'
1,基本形式：
3,图像非线性回归
（实例）
【 例 】 为研究生产率与废品率之间的关系,
记录数据如下表 。 试拟合适当的模型 。
废品率与生产率的关系生产率（周 /单位 )
x 1000 2000 3000 3500 4000 4500 5000
废品率（ %）
y 5.2 6.5 6.8 8.1 10.2 10.3 13.0
非线性回归
（实例）
0
4
8
12
16
0 2000 4000 6000
éú 2ú?ê
·?
·
ê
生产率与废品率的散点图非线性回归
（实例）
1,用线性模型,y =?0+?1x+?,有
y = 2.671+0.0018x
2,用指数模型,y = x,有
y =4.05?(1.0002)x
3,比较
4,直线的残差平方和＝ 5.3371<指数模型的残差平方和＝ 6.11。 直线模型略好于指数模型
（函数关系）
1,是一一对应的确定关系
2,设有两个变量 x 和 y,变量
y 随变量 x 一起变化,并完全依赖于 x,当变量 x 取某个数值时,y 依确定的关系取相应的值,则称 y 是 x 的函数,记为 y = f (x),其中
x 称为自变量,y 称为因变量
3,各观测点落在一条线上
x
y
变量间的关系
（函数关系）
函数关系的例子
某种商品的销售额 (y)与销售量 (x)之间的关系可表示为 y = p x (p 为单价 )
圆的面积 (S)与半径之间的关系可表示为 S =
R2
企业的原材料消耗额 (y)与产量 (x1),单位产量消耗 (x2),原材料价格 (x3)之间的关系可表示为 y = x1 x2 x3
变量间的关系
（相关关系）
1,变量间关系不能用函数关系精确表达
2,一个变量的取值不能由另一个变量唯一确定
3,当变量 x 取某个值时,变量 y 的取值可能有几个
4,各观测点分布在直线周围
x
y
相关关系的图示
不相关
负线性相关
正线性相关
非线性相关
完全负线性相关完全正线性相关
变量间的关系
（相关关系 ）
相关关系的例子
商品的消费量 (y)与居民收入 (x)之间的关系
商品销售额 (y)与广告费支出 (x)之间的关系
粮食亩产量 (y)与施肥量 (x1),降雨量 (x2),
温度 (x3)之间的关系
收入水平 (y)与受教育程度 (x)之间的关系
父亲身高 (y)与子女身高 (x)之间的关系相关关系的类型相关关系非线性相关线性相关正相关正相关负相关负相关完全相关 不相关相关系数及其计算相关关系的测度
（相关系数）
1,对变量之间关系密切程度的度量
2,对两个变量之间线性相关程度的度量称为简单相关系数
3,若相关系数是根据总体全部数据计算的,称为总体相关系数,记为?
4,若是根据样本数据计算的,则称为样本相关系数,记为 r
相关关系的测度
（相关系数）
样本相关系数的计算公式,
22 )()(
))((
yyxx
yyxx
r
或化简为,
2222
yynxxn
yxxyn
r
相关关系的测度
（相关系数取值及其意义）
1,r 的取值范围是 [-1,1]
2,|r|=1 为完全相关
r =1,为完全正相关
r =-1 为完全负正相关
3,r = 0 不存在线性相关关系
4,-1? r < 0 为负相关
5,0 < r? 1 为正相关
6,|r|越趋于 1表示关系越密切； |r|越趋于 0表示关系越不密切相关关系的测度
（相关系数取值及其意义）
-1.0 +1.00-0.5 +0.5
完全负相关 无线性相关 完全正相关负相关程度增加
r
正相关程度增加表 8-1 我国人均国民收入与人均消费金额数据 单位,元年份 人均国民收入 人均消费金额 年份 人均国民收入 人均消费金额
1981
1982
1983
1984
1985
1986
1987
393.8
419.14
460.86
544.11
668.29
737.73
859.97
249
267
289
329
406
451
513
1988
1989
1990
1991
1992
1993
1068.8
1169.2
1250.7
1429.5
1725.9
2099.5
643
690
713
803
947
1148
相关关系的测度
（相关系数计算例）
【 例 8.1】 在研究我国人均消费水平的问题中,把全国人均消费额记为 y,把人均国民收入记为 x。 我们收集到 1981～ 1993年的样本数据 (xi,yi),i =1,2,…,13,数据见表 8-1,计算相关系数 。
相关关系的测度
（计算结果）
解,根据样本相关系数的计算公式有
人均国民收入与人均消费金额之间的相关系数为 0.9987
9987.0
74575226399135.1282777.1607332313
74575.1282799.915617313
22
2
2
2
2
yynxxn
yxxyn
r
相关系数的显著性检验 （概念要点）
1,检验两个变量之间是否存在线性相关关系
2,等价于对回归系数?1的检验
3,采用 t 检验
4,检验的步骤为
提出假设,H0, ； H1, 0
)2(~
1
2
2
nt
r
nrt? 计算检验的统计量：
确定显著性水平?，并作出决策
若?t?>t，拒绝 H0
若?t?<t，接受 H0
相关系数的显著性检验 （实例）
2,对前例计算的相关系数进行显著性检 (0.05)
1,提出假设,H0, ； H1, 0
2,计算检验的统计量,
9809.64
9987.01
2139987.0
2
t
3,根据显著性水平?＝ 0.05，查 t分布表得 t(n-
2)=2.201
由于?t?=64.9809>t(13-2)=2.201，拒绝 H0，人均消费金额与人均国民收入之间的相关关系显著相关系数的显著性检验
（相关系数检验表的使用）
1,若 IrI大于表上的?=5%相应的值,小于表上?＝
1%相应的值,称变量 x与 y之间有 显著 的线性关系
2,若 IrI大于表上?=1%相应的值,称变量 x与 y之间有 十分显著 的线性关系
3,若 IrI小于表上?=5%相应的值,称变量 x与 y之间没有 明显 的线性关系
4,根 据前例的 r=0.9987>?=5%(n-2)=0.553,表明人均消费金额与人均国民收入之间有十分显著的线性相关关系第二节 简单线性回归分析
一元线性回归模型二,参数的最小二乘估计三,回归方程的显著性检验四,预测及应用什么是回归分析？
（内容）
1,从一组样本数据出发,确定变量之间的数学关系式
2,对这些关系式的可信程度进行各种统计检验,
并从影响某一特定变量的诸多变量中找出哪些变量的影响显著,哪些不显著
3,利用所求的关系式,根据一个或几个变量的取值来预测或控制另一个特定变量的取值,
并给出这种预测或控制的精确程度回归分析与相关分析的区别
1,相关分析中,变量 x 变量 y 处于平等的地位；回归分析中,变量 y 称为因变量,处在被解释的地位,x 称为自变量,用于预测因变量的变化
2,相关分析中所涉及的变量 x 和 y 都是随机变量；
回归分析中,因变量 y 是随机变量,自变量 x 可以是随机变量,也可以是非随机的确定变量
3,相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量 x 对变量 y
的影响大小,还可以由回归方程进行预测和控制回归模型的类型一个自变量 两个及两个以上自变量回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归回归模型与回归方程回归模型
1,回答,变量之间是什么样的关系？,
2,方程中运用
1 个数字的因变量 (响应变量 )
被预测的变量
1 个或多个数字的或分类的自变量 (解释变量 )
用于预测的变量
3,主要用于预测和估计一元线性回归模型
（概念要点）
1,当只涉及一个自变量时称为 一元回归,若因变量 y 与自变量 x 之间为线性关系时称为一元线性回归
2,对于具有线性关系的两个变量,可以用一条线性方程来表示它们之间的关系
3,描述因变量 y 如何依赖于自变量 x 和误差项?
的方程称为 回归模型一元线性回归模型
（概念要点）
对于只涉及一个自变量的简单线性回归模型可表示为
y =+ x +?
模型中,y 是 x 的线性函数 (部分 )加上误差项
线性部分反映了由于 x 的变化而引起的 y 的变化
误差项?是随机变量
反映了除 x 和 y 之间的线性关系之外的随机因素对 y
的影响
是不能由 x 和 y 之间的线性关系所解释的变异性
0和?1称为模型的参数一元线性回归模型
（基本假定）
1,误差项 ε是一个期望值为 0的随机变量,即 E(ε)=0。
对于一个给定的 x 值,y 的期望值为 E ( y ) =? 0+
1 x
2,对于所有的 x 值,ε的方差 σ2都相同
3,误差项 ε是一个服从正态分布的随机变量,且相互独立 。 即 ε~N( 0,σ2 )
独立性意味着对于一个特定的 x 值,它所对应的 ε与其他 x 值所对应的 ε不相关
对于一个特定的 x 值,它所对应的 y 值与其他 x 所对应的 y 值也不相关回归方程
（概念要点）
1,描述 y 的平均值或期望值如何依赖于 x 的方程称为 回归方程
2,简单线性回归方程的形式如下
3,E( y ) =?0+?1 x
方程的图示是一条直线,因此也称为直线回归方程
0是回归直线在 y 轴上的截距,是当 x=0 时 y 的期望值
1是直线的斜率,称为回归系数,表示当 x 每变动一个单位时,y的平均变动值估计 (经验 )的回归 方程
3,简单线性回归中估计的回归方程为其中,是估计的回归直线在 y 轴上的截距,是直线的斜率,它表示对于一个给定的 x 的值,是 y 的估计值,也表示 x 每变动一个单位时,y 的平均变动值
0 1
2,用样本统计量 和 代替回归方程中的未知参数 和,就得到了 估计的回归方程0
1
0? 1?
1,总体回归参数 和 是未知的,必需利用样本数据去估计 0? 1
xy 10 +?
参数?0 和?1 的最小二乘估计最小二乘法
（概念要点）
最小
n
i
i
n
i
i eyyQ
1
2
1
2
10 )?()
,?(
1,使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即
2,用最小二乘法拟合的直线来代表 x与 y之间的关系与实际数据的误差比其他任何直线都小
0 1
最小二乘法
（图示）
x
y (x
n,yn)
(x1,y1)?
(x2,y2)
(xi,yi)
｝ ei = yi-yi＾
xy 10 +?
最小二乘法
（ 和 的计算公式 ）
根据最小二乘法的要求,可得求解 和 的标准方程如下
10
0 1
估计方程的求法
（实例）
【 例 】 根据例 10.1中的数据,配合人均消费金额对人均国民收入的回归方程
根据 和 的求解公式得
0 1
估计 (经验 )方程
人均消费金额对人均国民收入的回归方程为 y = 54.22286 + 0.52638 x
0
200
400
600
800
1000
1200
1400
0 500 1000 1500 2000 2500
èù ·? ó? èù 1ú ê? è? μ× 1é
^
估计方程的求法
（ Excel的输出结果）
SUMMARY OUTPUT
× 1é í3
M u l t i p l e R0.998703821
R Square 0.997409322
Adjusted R Square 0.997173806
±ê ×ó 2? 14.94967766
1? 2a?μ 13
Coefficients ±ê ×ó 2? t Stat P-value Lower 95% Upper 95%
Intercept 54.22286392 8.99397869 6.028796 8.56501E-05 34.4272403 74.0184875
X Variable 1 0.52637714 0.00808855 65.07682 1.39842E-15 0.50857435 0.54417993
0 1
n
i
i
y
xx
S
nt
1
2
21
)(
)2(
+ n
i
i
y
xx
x
n
Snt
1
2
2
20
)(
)(1)2(?
回归方程的显著性检验离差平方和的分解
1,因变量 y 的取值是不同的,y 取值的这种波动称为 变差 。 变差来源于两个方面
由于自变量 x 的取值不同造成的
除 x 以外的其他因素 (如 x对 y的非线性影响,
测量误差等 )的影响
2,对一个具体的观测值来说,变差的大小可以通过该实际观测值与其均值之差 来表示
yy?
离差平方和的分解
（图示）
x
y
y
xy 10 +?
yy? {
}
}
yy
yy
),( ii yx
离差分解图离差平方和的分解
（三个平方和的关系）
2,两端平方后求和有
yyyyyy?+
1,从图上看有
SST = SSR + SSE
+
n
i
i
n
i
i
n
i
i yyyyyy
1
2
1
2
1
2
总变差平方和
（ SST）
{
回归平方和
（ SSR）
{
残差平方和
（ SSE）
{
离差平方和的分解
（三个平方和的意义）
1,总平方和 (SST)
反映因变量的 n 个观察值与其均值的总离差
2,回归平方和 (SSR)
反映自变量 x 的变化对因变量 y 取值变化的影响,或者说,是由于 x 与 y 之间的线性关系引起的 y 的取值变化,也称为可解释的平方和
3,残差平方和 (SSE)
反映除 x 以外的其他因素对 y 取值的影响,也称为不可解释的平方和或剩余平方和样本决定系数
（判定系数 r2 ）
1,回归平方和占总离差平方和的比例
2,反映回归直线的拟合程度
3,取值范围在 [ 0,1 ] 之间
4,r2?1，说明回归方程拟合的越好； r2?0
，说明回归方程拟合的越差
5,判定系数等于相关系数的平方，即 r2＝ (r)2
回归方程的显著性检验
（ 线性关系的检验 ）
1,检验自变量和因变量之间的线性关系是否显著
2,具体方法是将回归离差平方和 (SSR)同剩余离差平方和 (SSE)加以比较,应用 F检验来分析二者之间的差别是否显著
如果是显著的,两个变量之间存在线性关系
如果不显著,两个变量之间不存在线性关系回归方程的显著性检验
（ 检验 的步骤）
1,提出假设
H0：线性关系不显著计算检验统计量 F
3,确定显著性水平?，并根据分子自由度 1和分母自由度 n-2找出临界值 F?
4,作出决策：若 F?F?,拒绝 H0； 若 F<F?,接受 H0
回归方程的显著性检验
（ 方差分析表 ）
方差分析
df SS MS F Significance F
回归 1 946491 946491 4234.99 1.39842E-15
残差 11 2458.42 223.493
总计 12 948949
（续前例） Excel 输出的方差分析表平方和 均方估计标准误差 Sy
1,实际观察值与回归估计值离差平方和的均方根
2,反映实际观察值在回归直线周围的分散状况
3,从另一个角度说明了回归直线的拟合程度
4,计算公式为注：上例的计算结果为 14.949678
回归系数的显著性检验
（要点）
3,在一元线性回归中,等价于回归方程的显著性检验
1,检验 x 与 y 之间是否具有线性关系,或者说,检验自变量 x 对因变量 y 的影响是否显著
2,理论基础是回归系数 的抽样分布
1
回归系数的显著性检验
（样本统计量 的分布）
1,是根据最小二乘法求出的样本统计量,它有自己的分布
2,的分布具有如下性质
分布形式：正态分布
数学期望：
标准差：
由于?无未知,需用其估计量 Sy来代替得到 的估计的标准差回归系数的显著性检验
（样本统计量 的分布）
的抽样分布回归系数的显著性检验
（步骤）
1,提出假设
H0,?1 = 0 (没有线性关系 )
H1,?1? 0 (有线性关系 )
2,计算检验的统计量
3,确定显著性水平?，并进行决策
t?>t，拒绝 H0；?t?<t，接受 H0
回归系数的显著性检验
（实例）
1,提出假设
H0,?1 = 0 人均收入与人均消费之间无线性关系
H1,?1? 0 人均收入与人均消费之间有线性关系
2,计算检验的统计量
3,t=65.0758>t=2.201,拒绝 H0,表明 人均收入与人均消费之间有线性关系对前例的回归系数进行显著性检验 (?＝ 0.05)
回归系数的显著性检验
(Excel输出的结果）
SUMMARY OUTPUT
× 1é í3
M u lt i p le R 0.998703821
R Square 0.997409322
Adjusted R Square 0.997173806
±ê ×ó 2? 14.94967766
1? 2a?μ 13
Coefficients ±ê ×ó 2? t Stat P-value Lower 95% Upper 95%
Intercept 54.22286392 8.99397869 6.028796 8.56501E-05 34.4272403 74.0184875
X Variable 1 0.52637714 0.00808855 65.07682 1.39842E-15 0.50857435 0.54417993
0 08 08 8 55.0
5 26 37 7 14.0?
1
1?
1
St
99397869.8
22286392.54?
0
0?
0
St
+? n
i
i
y
xx
x
n
SS
1
2
2
)(
)(1
0?
n
i
i
y
xx
S
S
1
2
)(
1?
预测及应用利用回归方程进行估计和预测
1,根据自变量 x 的取值估计或预测因变量 y
的取值
2,估计或预测的类型
点估计
y 的平均值的点估计
y 的个别值的点估计
区间估计
y 的平均值的 置信区间 估计
y 的个别值的 预测区间 估计利用回归方程进行估计和预测
（点估计）
2,点估计值有
y 的平均值的点估计
y 的个别值的点估计
3,在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同
1,对于自变量 x 的一个给定值 x0,根据回归方程得到因变量 y 的一个估计值 0?y
利用回归方程进行估计和预测
（点估计）
y 的平均值的点估计
1,利用估计的回归方程，对于自变量 x 的一个给定值 x0,求出因变量 y 的平均值的一个估计值
E(y0),就是平均值的点估计
2,在前面的例子中，假如我们要估计人均国民收入为 2000元时，所有年份人均消费金额的的平均值，就是平均值的点估计。根据估计的回归方程得
)(98.1 1 6 02 0 0 05 2 6 3 8.02 2 2 8 6.54? 0 元+?y
利用回归方程进行估计和预测
（点估计）
y 的个别值的点估计
0?y
1,利用估计的回归方程,对于自变量 x 的一个给定值 x0,求出因变量 y 的一个个别值的估计值,就是个别值的点估计
2,比如，如果我们只是想知道 1990年人均国民收入为 1250.7元时的人均消费金额是多少，
则属于个别值的点估计。根据估计的回归方程得
)(57.7127.1 2 5 05 2 6 3 8.02 2 2 8 6.54? 0 元+?y
利用回归方程进行估计和预测
（区间估计）
1,点估计不能给出估计的精度,点估计值与实际值之间是有误差的,因此需要进行区间估计
2,对于自变量 x 的一个给定值 x0,根据回归方程得到因变量 y 的一个估计区间
3,区间估计有两种类型
置信区间估计
预测区间估计利用回归方程进行估计和预测
（置信区间估计）
y 的平均值的置信区间估计
1,利用估计的回归方程，对于自变量 x 的一个给定值 x0,求出因变量 y 的平均值 E(y0)的估计区间,这一估计区间称为 置信区间
2,E(y0) 在 1-?置信水平下的置信区间为
+
n
i
i
y
xx
xx
n
Snty
1
2
2
0
20
1
)2( 式中,S
y为估计标准误差利用回归方程进行估计和预测
（置信区间估计,算例）
【 例 】 根据前例，求出人均国民收入为 1250.7
元时，人均消费金额 95%的置信区间
解,根据前面的计算结果
＝ 712.57,Sy=14.95,t(13-2)＝ 2.201，
n=13
置信区间为
712.57?10.265
人均消费金额 95% 的 置 信 区间 为 702.305 元
~722.835元之间
0?y
利用回归方程进行估计和预测
（预测区间估计）
y 的个别值的预测区间估计
1,利用估计的回归方程，对于自变量 x 的一个给定值 x0,求出因变量 y 的一个个别值的估计区间，这一区间称为 预测区间
2,y0在 1-?置信水平下的预测区间为注意！
利用回归方程进行估计和预测
（置预测区间估计,算例）
【 例 】 根据前例,求出 1990年人均国民收入为
1250.7元时,人均消费金额的 95%的预测区间
解：根据前面的计算结果有
＝ 712.57,Sy=14.95,t(13-2)＝ 2.201，
n=13
置信区间为
=712.57?34.469
人均消费金额 95%的预测区间为 678.101元 ~747.039
元之间
0?y
影响区间宽度的因素
1.置信水平 (1 -?)
区间宽度随置信水平的增大而增大
2.数据的离散程度 (s)
区间宽度随离散程度的增大而增大
3.样本容量
区间宽度随样本容量的增大而减小
4.用于预测的 xp与?x的差异程度
区间宽度随 xp与?x 的差异程度的增大而增大置信区间,预测区间,回归方程
xp
xy 10 +?
y
x
x
第三节 多元线性回归
多元线性回归模型二,回归参数的估计三,回归方程的显著性检验四,回归系数的显著性检验五,多元线性回归的预测多元线性回归模型多元线性回归模型
（概念要点）
1,一个因变量与两个及两个以上自变量之间的回归
2,描述因变量 y 如何依赖于自变量 x1,x2,… xp
和误差项? 的方程称为 多元线性回归模型
3,涉及 p 个自变量的多元线性回归模型可表示为
0,,,?,?p是参数
是被称为误差项的随机变量
y 是 x1,,x2,?,xp 的线性函数加上误差项?
说明了包含在 y里面但不能被 p个自变量的线性关系所解释的变异性
ipipii xxxy +++++22110
多元线性回归模型
（概念要点）
对于 n 组实际观察数据 (yi ; xi1,,xi2,?,
xip ),(i=1,2,…,n),多元线性回归模型可表示为
y1 = + x11+ x12 +? +?px1p+
y2= + x21 + x22 +? +?px2p+
yn= + xn1 + xn2 +? +?pxnp+?n{
……
多元线性回归模型
（基本假定）
1,自变量 x1,x2,… xp是确定性变量,不是随机变量
2,随机误差项 ε的期望值为 0,且方差 σ2 都相同
3,误差项 ε是一个服从正态分布的随机变量,
即 ε~N(0,σ2),且相互独立第三节 非线性回归分析一,基本概念二,非线性模型及其线性化方法非线性回归
1,因变量 y 与 x 之间不是线性关系
2,可通过变量代换转换成线性关系
3,用最小二乘法求出参数的估计值
4,并非所有的非线性模型都可以化为线性模型几种常见的非线性模型
指数函数
2,线性化方法
两端取对数得,lny = ln? +? x
令,y' = lny，则有 y' = ln? +? x
1,基本形式：
3,图像
几种常见的非线性模型
幂函数
2,线性化方法
两端取对数得,lg y = lg? +? lg x
令,y' = lgy,x'= lg x,则 y' = lg? +? x'
1,基本形式：
3,图像
0<?< 1
1? = 1
-1<?<0
<-1
=-1
几种常见的非线性模型
双曲线函数
2,线性化方法
令,y' = 1/y,x'= 1/x,则有 y' =? +? x'
1,基本形式：
3,图像
< 0? > 0
几种常见的非线性模型
对数函数
2,线性化方法
x'= lgx,则有 y' =? +? x'
1,基本形式：
3,图像
0? <0
几种常见的非线性模型
S 型曲线
2,线性化方法
令,y' = 1/y,x'= e-x,则有 y' =? +? x'
1,基本形式：
3,图像非线性回归
（实例）
【 例 】 为研究生产率与废品率之间的关系,
记录数据如下表 。 试拟合适当的模型 。
废品率与生产率的关系生产率（周 /单位 )
x 1000 2000 3000 3500 4000 4500 5000
废品率（ %）
y 5.2 6.5 6.8 8.1 10.2 10.3 13.0
非线性回归
（实例）
0
4
8
12
16
0 2000 4000 6000
éú 2ú?ê
·?
·
ê
生产率与废品率的散点图非线性回归
（实例）
1,用线性模型,y =?0+?1x+?,有
y = 2.671+0.0018x
2,用指数模型,y = x,有
y =4.05?(1.0002)x
3,比较
4,直线的残差平方和＝ 5.3371<指数模型的残差平方和＝ 6.11。 直线模型略好于指数模型
