多元线性回归模型
0 1 1 2 2
2(0,)
ppY x x x
N
0 1 2,,;P
2其 中,,,为 未 知 参 数
12
12
0 1 1 2 2
,,,,)
(,,,,),1,2,,.
}
P
i i i
i i i p i
i
x x x Y
x x x Y i p
x x x
ip
ip
对 ( 进 行 观 测 得 观 测 值则
Y
其 中 { 独 立 同 标 准 正 态 分 布,
2
0 1 2
1
,,,,)
n
pi
i
采 用 最 小 二 乘 估 计,令
Q(
为 了 便 于 写 出 它 最 小 二 乘 估 计 ; 引 进 矩 阵 表 示记则有
,,,u
111
222
pnn
Y
Y
Y = =
Y
1 1 1
2 1 2
1
1
1
1
p
p
n n p
xx
xx
X
xx
2~ ( 0,)
nn
Y X u
u N I
因此
2
0 1 2
1
,,,,) )
n
T
pi
i
uu
Q( Q(
( ) ( )TY X Y X
,
求 使
Q( )=minQ( )
()T T T T T TY Y X Y Y X X X
对 求 导,我 们 有
Q
2T T TX Y X Y X X
22TTX Y X X
TTX X X Y令 其 为 零 得 矩 阵 方 程
1? ()
T
TT
XX
X X X Y
如 果 可 逆,则 的 最 小 二 乘 解 为
2
1
( ) ( )
1
TY X Y X
np
2
的 估 计 仍 采 用 矩 法,且 无 偏 估 计 为
0 1 1 2 2 ppY x x x称 为 经 验 回 归 方 程
2
1
1?()
1
n
ii
i
YYnp
和一元回归模型类似,我们也有
211?( 1 ) ~ (,( ) )TPN X X
2? )Y
n
i
i=1
(2) 记 SSR = (Y
2? )
iY
n
i
i=1
S S E = ( Y
2? )
iY
n
i
i=1
S S E = ( Y
有 SST=SSE+SSR
12
22
( 3 ) 0
~ ( ),( 1 )
.
n
p n p
S S R S S E
22
当 时,有
S S R S S E
且 与 相 互 独 立有了上面的结论,我们可以导出检验在检验方法,在这里就不讨论了,留给大家思考,0 1 2
:0 nH
预测
1 2 0 1 0 2 0(,,,) (,,,)ppx x x x x x Y对 自 变 量 = 时 对 作点 估 计 和 区 间 估 计 就 是 点 预 测 与 区 间 预 测,
我 们 不 加 证 明 地 给 出 下 列 结 果,
0 0 1 0 1 2 0 2 px x x 0p点 预 测,Y
2
0 0 0 0
1
0 0 0
0 0 1 0 2 0
,)
( 1 ) 1 ( )
( 1,,,,)
TT
T
p
t n p x X X x
x x x x
区 间 预 测,( Y Y
其 中
0 1 1 2 2
2(0,)
ppY x x x
N
0 1 2,,;P
2其 中,,,为 未 知 参 数
12
12
0 1 1 2 2
,,,,)
(,,,,),1,2,,.
}
P
i i i
i i i p i
i
x x x Y
x x x Y i p
x x x
ip
ip
对 ( 进 行 观 测 得 观 测 值则
Y
其 中 { 独 立 同 标 准 正 态 分 布,
2
0 1 2
1
,,,,)
n
pi
i
采 用 最 小 二 乘 估 计,令
Q(
为 了 便 于 写 出 它 最 小 二 乘 估 计 ; 引 进 矩 阵 表 示记则有
,,,u
111
222
pnn
Y
Y
Y = =
Y
1 1 1
2 1 2
1
1
1
1
p
p
n n p
xx
xx
X
xx
2~ ( 0,)
nn
Y X u
u N I
因此
2
0 1 2
1
,,,,) )
n
T
pi
i
uu
Q( Q(
( ) ( )TY X Y X
,
求 使
Q( )=minQ( )
()T T T T T TY Y X Y Y X X X
对 求 导,我 们 有
Q
2T T TX Y X Y X X
22TTX Y X X
TTX X X Y令 其 为 零 得 矩 阵 方 程
1? ()
T
TT
XX
X X X Y
如 果 可 逆,则 的 最 小 二 乘 解 为
2
1
( ) ( )
1
TY X Y X
np
2
的 估 计 仍 采 用 矩 法,且 无 偏 估 计 为
0 1 1 2 2 ppY x x x称 为 经 验 回 归 方 程
2
1
1?()
1
n
ii
i
YYnp
和一元回归模型类似,我们也有
211?( 1 ) ~ (,( ) )TPN X X
2? )Y
n
i
i=1
(2) 记 SSR = (Y
2? )
iY
n
i
i=1
S S E = ( Y
2? )
iY
n
i
i=1
S S E = ( Y
有 SST=SSE+SSR
12
22
( 3 ) 0
~ ( ),( 1 )
.
n
p n p
S S R S S E
22
当 时,有
S S R S S E
且 与 相 互 独 立有了上面的结论,我们可以导出检验在检验方法,在这里就不讨论了,留给大家思考,0 1 2
:0 nH
预测
1 2 0 1 0 2 0(,,,) (,,,)ppx x x x x x Y对 自 变 量 = 时 对 作点 估 计 和 区 间 估 计 就 是 点 预 测 与 区 间 预 测,
我 们 不 加 证 明 地 给 出 下 列 结 果,
0 0 1 0 1 2 0 2 px x x 0p点 预 测,Y
2
0 0 0 0
1
0 0 0
0 0 1 0 2 0
,)
( 1 ) 1 ( )
( 1,,,,)
TT
T
p
t n p x X X x
x x x x
区 间 预 测,( Y Y
其 中